[Elasticsearch] Elasticsearch 기본 개념 및 설치, kibana 연동하기

최신 한국어 자료가 없어서 설치만 하다가도 쓰러질 뻔했다. 세상에 이렇게 기빨리는 설치작업은 처음이다... Elasticsearch 설치 방법이 어렵다기보다는 백엔드 바보(...)인 내가 걷기에는 제법 어려운 일이었다고 할 수 있겠다. 이미 유사한 경험이 있다면 쉽게 하실 것 같다. 어쨌든 성공했으니 가볍게 정리해보도록 하겠다.

 

1. Elasticsearch 란?

명확하게 답을 내기에는 아직 부족한 점이 많지만, 검색엔진이다. NoSQL 기반으로 데이터 구조를 가져가고, 각각은 RDBMS와 매핑되는 용어를 가지고 있다. NoSQL에 익숙하다면 더 쉬울 것 같다. Firebase 등등.

A. RDBMS와 검색엔진의 차이

• RDBMS는 테이블로 딱딱 쪼개서 자를 수 있는 체계적인 구조
  • 단어 검색, 쿼리문을 활용한 데이터 선별 등이 가능
• 검색엔진은 보다 사용자 친화적이고 유연한 엔진
  • 텍스트 특징을 이용한 동의/유의어 검색 가능
  • 비정형 데이터 색인 및 검색 가능
  • 역색인

B. 역색인

• 색인 → 책의 목차

• 역색인 → 어떤 단어가 책의 어디에 위치하는지 적어둔 단어별 색인 페이지

사진 출처 - 삼성 SDS...기술블로그

Elasticsearch는 역색인을 기반으로 검색기능을 제공하므로 대소문자 구분 없이 문구 검색 가능

C. Elasticsearch의 특징 및 장단점

• NoSQL 기반의 문서 지향 데이터베이스
• http protocol로 접근 가능한 REST API를 통해서 데이터 조작 지원

• 분산처리를 통한 빠른 검색
• 전문 검색 / 구조 검색 모두 지원
  • 완전 실시간은 아님. 1초 뒤 검색 가능
• transaction rollback 지원 x
• 데이터 삭제 및 업데이트에 비용소모가 심함 → 기존 문서를 삭제 후 재생성하기 때문

 

D. 용어

• Index : 데이터베이스
• Shard : 파티션
• Type : 테이블
• Document : 행
• Field : 열
• Mapping : 스키마
• Query DSL : SQL

 

2. 설치 

A. Elasticsearch 설치

Download Elasticsearch

위 링크에서 운영체제에 맞는 버전의 Elasticsearch를 다운로드하고, 압축을 푼 뒤 bin/elasticsearch.bat 을 실행하면 끝난다. 

다만 유의해야할 점은, 현재 Elasticsearch 8.8.1 버전 기준 지원하는 Java 버전은 JDK 11과 17이다. 내장 Java가 있다고는 하는데 혹시나 생길 버전문제를 예방하기 위해 JDK 17로 버전을 맞춰주는 것을 권장한다.

가이드는 이 링크를 참고하자. 한국어 자료가 없는 편이라 영어를 읽어야한다는 단점이 있지만... 없는 것보다는 삼천오백배 낫다. https://www.elastic.co/guide/en/elasticsearch/reference/8.8/elasticsearch-intro.html

What is Elasticsearch? | Elasticsearch Guide [8.8] | Elastic

그리고 elasticsearch를 포함하여 kibana, logstash 등 같은 회사의 제품들은 yaml 파일을 기반으로 동작하기 때문에, 뭔가 설정을 바꿔주고 싶으면 config/elasticsearch.yaml 등의 파일을 작성해주어야 한다. 지금 당장은 다운받았을 때 기본설정으로 해도 되겠다.

elasticsearch가 사용하는 localhost port는 9200이다. https://localhost:9200 으로 접속해보자.

{
  "name" : "DESKTOP-85ERSCL",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "{UUID}",
  "version" : {
    "number" : "8.8.1",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "{HASH}",
    "build_date" : "2023-06-05T21:32:25.188464208Z",
    "build_snapshot" : false,
    "lucene_version" : "9.6.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

이런 식으로 응답이 오면 성공~

 

B. Kibana 설치

Download Kibana Free | Get Started Now

Kibana도 같다. 위 링크에서 운영체제에 맞는 Kibana를 다운로드 하고, bin/kibana.bat를 실행해주면 된다.

kibana가 사용하는 localhost server port는 5601이다. 실행이 되고 있는 것 같으면 https://localhost:5601로 접속해보자.

Welcome to Elastic이라는 문구와 함께 로그인하라고 한다. 계정을 만든 적도 없는데... 그래서 지금 만들러 간다.

Elastic의 비밀번호는 kibana가 아니라 elasticsearch 쪽에서 생성한다. elasticsearch 경로에서 

.\bin\elasticsearch-setup-passwords.bat auto

하면 사용자 elastic에 대한 비밀번호를 반환해준다. 기억하기 어려움으로 재설정도 해주겠다.

.\bin\elasticsearch-reset-password.bat interactive elastic

하고 비밀번호를 입력해주면 된다. 나는 그냥 elastic으로 통일했다.

다시 elasticsearch와 kibana를 실행해주고, 비밀번호를 입력해서 접속한다.

짜잔하고 접속하는데 성공했다.

애먹었던 부분은 언제부터인지는 몰라도 kibana로 접속했을 때 곧장 kibana로 가는 게 아니라 통합 프로그램 elastic으로 가게 되었기 때문에 구글링을 해봐도 맞지 않는 부분이 많았다. 

과거에는 try sample data하면 데이터를 추가해서 여기서 바로 보여줬는데, 지금은 elastic에서 호스팅하는 환경으로 게스트로 접속해서 확인해볼 수 있다. 데모사이트는 아래 링크에 있다.

Elastic Demos

왼쪽 드롭다운...? 사이드바. 를 열면 Analytics가 나오는데 이 친구가 kibana이다. 눌러봐도 지금은 데이터가 없기 때문에 새 dataview 추가와 같은 것만 나온다. 우선 여기까지 하면 kibana와 elasticsearh 설치는 끝!

다음 포스팅에서는 RDBMS와 elastic을 logstash를 활용해서 연결해보고, kibana로 모니터링해보도록 하겠다. 

 

p.s. 분명 인증 관련 문제가 있었던 것 같은데 기억이 희미하다.............. 중간에 문제가 있으셨다면 댓글로 알려주시길 바랍니다 :)...