Elastic Search - AWS Summit 2019

[ 운영 데이터 분석]
애플리케이션의 성능을 향상시키고 인프라 성능과 운영 이슈의 빠른 해결을 위한 데이터의 수집, 식별, 분석
1. 애플리케이션 모니터링
2. 보안 로그 및 이벤트 수집관리 (SIEM)
3. Root-cause 분석
4. IoT
5. 클릭스트림 분석

[운영 데이터 분석을 위한 요구사항]
1. Streaming data : 거의 실시간에 가까운 대량의 머신 데이터 수집
2. Indexing : 초당 수백만의 이벤트 데이터에 대한 인덱싱
3. Search & Analysis : 검색, 연관분석, 시각화를 통한 인사이트 도출

[로그데이터 활용의 어려움]
- 수테라 바이트에 이르는 대용량의 데이터
- 숫자와 문자가 포함된 반정규화 포맷
- 지속적으로 바뀌는 다이나믹한 스키마

elastic search를 활용해 로그데이터 분석, 스트리밍데이터 분석을 할 수 있음..

Amazon Elastic Search Service
- 완전 관리형 서비스
- aws 에 쉽게 설치가능하도록 제공하는 서비스
- 모니터링 대시보드 kibana 제공 (손쉬운 시각화)

[동작원리]
1. 데이터를 rest api를 통해 json형태로 elastic search롤 보냄
2. 모든 필드를 검색 가능하도록 인덱싱
3. 매칭되는 필드와 부울 수식을 쿼리, 정렬, 분석

---

검색!!!!!!
검색엔진의 코어컨셉?
도큐먼트에서 원하는 정보를 찾아내는 것...
- 하나의 도큐먼트는 다수의 필드형태를 포함한다.
- 도큐먼트의 필드중에 내가 원하는 것을 찾아야하기떄문에 elastic search는 이름과 값이 포함된 json을 사용한다.
- 데이터 검색 가능 하려면 각각의 필드에 대한 인덱스 생성 필요..
- inverted index방식을 사용
: term(단어)를 기준으로 인덱싱을 함

위와 같이 document에 대한 인덱스가 생성된 뒤에 search API를 통해 검색을 할 수 있음
- api가 search query를 실행함.

---

텍스트분석
1. Tokenization 토큰화
2. downcasing 소문자로바꾸기
3. stop word removal - 의미없는 단어 제거
4. stemming 표준화 - 어간추출 어근에서 단어들이 파생.. 먹었다 -> 먹다로. 변환

쿼리결과 스코어링 : Okapi BM25

스코어링을 통해 결과재조정
최신성추가

---