Logstash

[Elasticsearch] Index Template 구성하기 with Kibana & Logstash (2) - Mapping 기초

2023.07.06 - [Web/Back-end \ etc.] - [Elasticsearch] Index Template 구성하기 with Kibana & Logstash (1) - Setting [Elasticsearch] Index Template 구성하기 with Kibana & Logstash (1) - Setting Elasticsearch에 데이터를 적재할 때, 어떤 방식으로 데이터를 적재할지에 대한 세팅을 해줄 수 있다. Elasticsearch는 역색인을 기반으로 데이터를 인덱싱하기 때문에, 역색인의 기준이 되는 단어(token) dnai-deny.tistory.com 이전 포스팅에 이어 이번에는 Index Template의 두 번째 주요 구성인 Mapping 영역을 살펴보도록 하겠다. M..

[Elasticsearch] Logstash를 통해 PostgreSQL과 Elastic Stack 연동하기

* 2023.12.21 업데이트 - Docker ELK로 PostgreSQL과 Elastic Stack 연동 포스팅 [Docker + ELK] Docker ELK를 사용해서 PostgreSQL DB 모니터링 하기 이번 포스팅에서는 이전에 elasticsearch, kibana, logstash를 별도로 실행하여 PostgreSQL DB를 모니터링했던 것을 Docker을 통해서 구현해본다. 로컬 환경에서 elk를 구성했던 포스트는 아래 링크에서 확인할 dnai-deny.tistory.com 이전 포스팅에 먼저 언급했다싶이 RDBMS에 Elasticsearch를 적용하기 위한 방법을 검색했을 때 가장 많이 추천하는 방법이 Logstash를 이용한 모니터링이었다. [Elasticsearch] Logstash ..

[Elasticsearch] Logstash 사용해보기

제목만 썼는데 어제의 삽질이 올라오는 기분.... 곧장 시작해보겠다. elasticsearch 설치에 관련된 내용은 이전 포스팅 참고. [Elasticsearch] Elasticsearch 기본 개념 및 설치, kibana 연동하기 최신 한국어 자료가 없어서 설치만 하다가도 쓰러질 뻔했다. 세상에 이렇게 기빨리는 설치작업은 처음이다... Elasticsearch 설치 방법이 어렵다기보다는 백엔드 바보(...)인 내가 걷기에는 제법 어 dnai-deny.tistory.com 1. Logstash를 사용하려는 이유? logstash를 사용해서 elastic search와 rdbms 사이에 pipline을 생성할 수 있다. 입력 → 필터(가공) → 출력 검색해보니 elasticsearch와 rdbms를 연결할..

[Elasticsearch] Elasticsearch 기본 개념 및 설치, kibana 연동하기

최신 한국어 자료가 없어서 설치만 하다가도 쓰러질 뻔했다. 세상에 이렇게 기빨리는 설치작업은 처음이다... Elasticsearch 설치 방법이 어렵다기보다는 백엔드 바보(...)인 내가 걷기에는 제법 어려운 일이었다고 할 수 있겠다. 이미 유사한 경험이 있다면 쉽게 하실 것 같다. 어쨌든 성공했으니 가볍게 정리해보도록 하겠다. 1. Elasticsearch 란? 명확하게 답을 내기에는 아직 부족한 점이 많지만, 검색엔진이다. NoSQL 기반으로 데이터 구조를 가져가고, 각각은 RDBMS와 매핑되는 용어를 가지고 있다. NoSQL에 익숙하다면 더 쉬울 것 같다. Firebase 등등. A. RDBMS와 검색엔진의 차이 RDBMS는 테이블로 딱딱 쪼개서 자를 수 있는 체계적인 구조 단어 검색, 쿼리문을 활..