[Elasticsearch] Index Template 구성하기 with Kibana & Logstash (2) - Mapping 기초

2023.07.06 - [Web/Back-end \ etc.] - [Elasticsearch] Index Template 구성하기 with Kibana & Logstash (1) - Setting

[Elasticsearch] Index Template 구성하기 with Kibana & Logstash (1) - Setting

 

이전 포스팅에 이어 이번에는 Index Template의 두 번째 주요 구성인 Mapping 영역을 살펴보도록 하겠다. 

Mapping은 (내가 이해하기로는) Database의 Column을 생성하는 것과 비슷하다고 볼 수 있다. 다만 Elasticsearch는 역색인을 기반으로 동작하기 때문에, Multi-Field를 사용해서 하나의 Column에 대해서 여러 가지의 인덱싱 방법, analyzer를 도입할 수 있다는 차이점이 있다. 

Mapped Field를 제외하고 Runtime Field나 Dynamic templates에 대해서는 더 공부가 필요하기 때문에(...) 여기서 다루지는 않겠다. 아주 기초적인 Mapping만 다뤄보도록 하겠다.

 

1. 예제 데이터

예제로 쓸 데이터는 다음과 같다. 총 다섯 개의 column으로 이루어져 있으며, 간단한 글에 포함되는 데이터들이다. 데이터 타입과 목적은 다음과 같다. FastAPI에서 SQLAlchemy 연결을 위해 작성한 코드이다.

• id : post id(Integer)
• time : 발행 시간(Datetime)
• title : 글 제목(String/Text)
• content : 글 내용(String/Text)
• writer : 작성자(String/Text)

 

2. Elasticsearch Mapping 구성하기

kibana에서 이전 포스팅의 그 화면, index management - index template에서 mapping 부분을 수정해주면 된다. 

우선 Database에서 정의한 Column 의 타입대로 Field를 생성해준다. Integer은 Numeric - Long으로 선택해주면 된다.

선택하면서 볼 수 있었다시피 엄청나게 많은 type들을 지원하고 있다. multi-field를 생성하기 전에 Text 타입 필드에 대해서 analyzer를 커스텀해보도록 하겠다. 저 연필모양을 누르고, Show Advanced settings 버튼을 누르면 이런 창이 사이드에서 나온다.

Analyzer 영역에 Index and search analyzer가 눈에 띈다. Default는 색인용 analyzer와 나중에 검색할 때 검색어 쿼리를 처리할 analyzer 를 동일하게 처리해주는 것이다. 다르게 처리하고 싶다면 저 체크를 풀고 따로 설정해도 된다.

analyzer를 custom analyzer로 설정하면 Settings 에서 설정해두었던 whitespace_analyzer와 nori_analyzer가 있다.

이렇게 setting에서 커스텀한 analyzer를 선택하거나, 기본적으로 제공되는 다른 analyzer를 골라주면 된다. 나는 우선 title과 content 필드에 nori_analyzer를 적용했다.

 

3. Elasticsearch Multi-Field(Search as you type)

많은 분들이 이 글을 보고 있는 이유는 높은 확률로 검색엔진 적용을 위한 것일 듯 한데, 그 목적에 딱 알맞은 type이 있다. 바로 Search as you type이다. 

이름마저 이상한 이 타입은 Text에 대해서 알아서! 2-gram, 3-gram, pharse prefix까지 수행해서 검색을 용이하게 도와준다. 이를테면 이런 것이다.

Hello my name is Dnai. 

라는 문장이 있으면, Search-as-you-type은 아래와 같이 여러 방법으로 색인을 해준다.

• 2-gram = Hello my / my name / name is / is Dnai
• 3-gram = Hello my name / my name is / name is Dnai
• pharse prefix = H / He / Hel / Hell / Hello ...

검색 쿼리를 작성할 때 일부만 써도 찰떡같이 찾아줄 수 있다. 아주 편리한 기능이라고 할 수 있겠다. 따라서 이걸 기준으로 title과 content에 multi-field를 만들어줄 것이다. 누가봐도 복사인 것 같은 아이콘을 눌러보자.

복사 아이콘을 누르면

생긴다.

Field name은 title.OOO로 생성되기 때문에 적당히 붙이면 된다. 나는 search로 생성했다.

이렇게 되면 Query문을 작성할 때 title.search field에서 뭐뭐를 찾아줘! 라고 요청을 보낼 수 있게 된다. Search-as-you-type으로 설정을 해주고 Advanced Setting에서 똑같이 analyzer를 선택할 수 있다. 나는 커스텀에서 미리 만들어둔 Whitespace_analyzer를 선택해주었다.

 

 

짠! 이렇게 하면 매핑 끝이다. Aliases는 Component Templates와 같은 사유로 넘어가도록 하겠다. 마지막 단계에서 preview 탭을 보면 어떤 방식으로 Setting과 Mapping이 이루어졌는지 확인해볼 수 있다.

중요한 점은 logstash를 통해서 dbms와 연동하고 싶다면 table 하나 당 index 하나이므로 mapping을 할 때 해당하는 테이블의 데이터 타입을 찰떡같이 맞춰주는 것이 중요하다. Field 이름도!!!!! 

여기까지 하고, 검색 기능을 구현하는 포스팅은 Personal Home 프로젝트 카테고리에 올려보도록 하겠다. 

 

+) 잘못된 점이나 비효율적이라고 판단되는 부분은 댓글로 가르쳐주시면 감사히 배우겠습니다(_ _) 진행 중 문제가 생기셨다면 그것도 댓글 남겨주세요!