ElasticSearch 살펴보기 - Index

Index 구성

index_type_mapping

Index

  • 하나 이상의 Type 을 포함 (ES 7 이하)
  • RDB 에서 Database 역할
  • ES 7 부터는 하나의 Index 는 하나의 Type 만 가지는 것을 강제

Type (ES < 7)

  • 문서의 종류
  • RDB 에서 Table 역할

Mapping

  • 문서 내 모든 field 에 대한 정의
  • field 의 데이터 유형에 대한 정보
  • mapping 에 정의되지 않은 field 가 새로 추가될 때,
ElasticSearch 는 field 의 데이터 타입을 추측해서 mapping 에 추가
  • mapping 이 정의된 이후, 해당 field 에는 mapping 에 맞는 데이터만 저장 가능

Shard

  • 하나의 Index 는 여러개의 shard 로 나뉨
  • shard 는 여러 Node 에 분산 저장, Node 간 이동
  • 확장성, 가용량을 위한 역할

Document

  • Index 를 구성하는 최소 데이터 단위
  • 검색되는 최소 단위
  • RDB 에서 Table 에 저장된 하나의 Row
  • 문서는 필드(field)와 값(ElasticSearch Denver) 로 구성
  • 문서는 Json 으로 표현
  • Schema-free 처럼 사용가능한 것처럼 보이지만,
Type의 mapping 에 각 문서의 schema 가 존재

Index 생성/운영 권장 방식

  • schemaless 기능은 사용하지 말것
  • auto-mapping 을 사용하지 말것
  • 권장 설정 
    action.auto_create_index = false.   # 자동 인덱스 생성 방지
Index.mapper.dynamic = false        # 컬럼이 자동매핑 되는 것 방지

REST 방식의 인덱스 생성/설정

문서 등록 (index, type, mapping 을 함께 생성)

curl -X GET -H 'content-type: application/json' 'http://localhost:9200/{index-name}/{type-name}/{문서ID}' -d { 문서JSON }

문서 조회

curl -X GET 'localhost:9200/{index-name}/{type-name}/{문서ID}'

Index 만 생성

curl -X PUT 'localhost:9200/{index-name}'

Index 의 mapping 조회

curl -X GET 'localhost:9200/{index-name}/_mapping/{type-name}?pretty'
curl -X GET 'localhost:9200/{index-name}/{type-name}/_mapping/{type-name}?pretty'

Index 에서 문서 검색

curl -X GET 'localhost:9200/{index-name목록 ,로 구분}/{type-name목록 ,로 구분}/_search?q={검색keyword}&field={검색대상field목록 ,로 구분}&size=1&pretty'

curl -X GET 'localhost:9200/{index-name목록 ,로 구분}/{type-name목록 ,로 구분}/_search?q={검색keyword}&field={검색대상field목록 ,로 구분}&size=1&pretty' -d '{
  “query”: {
    “query_string”: “elastic search san francisco”,
    “default_field”: “name”,
    “default_operator”: “AND”,
  }
}

Index 에서 지원하는 데이터 타입

data type      
keyword - 분석기 거치지 않음 - 원문 그대로 색인 - 검색 필터링/정렬/집계가 필요한 항목 옵션 - boost : 검색/정렬 가중치 - doc_values : 메모리 캐시에 로드할지 여부 (default : true) - index : 검색에 사용할지 여부 (default : true) - null_value : 값이 없을때 필드 생성할지 - …
text - (형태소)분석기를 거쳐 전문검색이 가능 옵션 - analyzer : 분석기 지정 - boost : 검색/정렬 가중치 - fielddata : 정렬/집계 등에서 메모리 캐시 사용여부 (default : false) - index : 검색에 사용할지 여부 (default : true) - …  
array - 문자, 숫자, 객체 배열 - 하나의 array 필드에는 동일한 타입의 데이터가 저장되어야함 - array 타입을 명시적으로 mapping 에 정의하지 않는다. (ES 모든 필드는 다수의 값을 저장할 수 있기 때문) - array 데이터 전체 범위에 대해 OR 조건으로 검색    
numeric - long, integer, short, byte, double, float, half_float    
date - yyyyMMddHHmmss 등으로 표현 (default: yyyy-MM-ddTHH:mm:ssZ) - ES 는 date 타입을 내부적으로 UTC 밀리초로 변환하여 저장    
range - 범위가 있는 데이터 - integer_range, float_range, long_range, double_range, date_range, ip_range    
boolean true, false 값 저장    
geo-point - 위도, 경도 데이터 저장 - 위치기반 쿼리/집계/정렬에 활용 가능    
ip - IPv4, IPv6    
object - 다른 문서를 포함하는 형식 - ‘object’ 키워드를 사용하여 mapping 을 정의하지 않음 - 필드 값으로 다른 문서구조를 입력하는 형태로 필드 정의 PUT test/_mapping/_doc/1 { “properties”: { “companies”: { “properties”: { /* object 타입 필드 정의 */ “name”: { “type”: text } } } } }  
nested - 다른 문서의 배열을 포함하는 형식 - ‘nested’ 키워드를 사용하여 mapping 을 정의하지 않음 - 필드 값으로 다른 문서구조를 배열 형태로 입력하는 형태로 필드 정의 - array 필드지만 각 object 내부에서 and 조건을 만족하는 문서만 검색 - ES에서는 성능 최적화를 위하 parent 문서와 child(nested) 문서를 동일 샤드에 저장 PUT test/_doc/2 {“properties”: { “companies”: [ /* nested 타입 필드 정의 */ { “name”: “test-name1” }, { “name”: “test-name1” } ] } }  

Shard

shard

  • Node 에서 Node 로 이동되는 가장 작은 단위
  • 색인에 대한 데이터를 저장하는 물리적인 파일의 디렉토리
  • shard 당 replica 수는 언제든 변경 가능
  • primary shard 수는 index 생성 후, 변경 불가 (default : 5개)

Alias

  • 인덱스에 alias 를 설정하여 접근 가능
  • 외부에서 접근할 때, alias 를 사용하고, 내부적으로 alias 와 index 의 매핑을 필요할 때 변경 가능
  • 여러개의 인덱스를 하나의 alias 로 매핑 가능

alias 생성 예제

POST _aliases
{
  “actions”: [
    { “add”: { “index” : “{인덱스 이름}”, “alias” : “{alias 이름}” } },
    { “add”: { “index” : “{인덱스 이름}”, “alias” : “{alias 이름}” } },
    { “delete”: { “index” : “{인덱스 이름}”, “alias” : “{alias 이름}” } },
  ]
}

Snapshot

  • 인덱스를 snapshot 으로 백업 기능
  • 클러스터 전체를 snapshot 으로 생성가능
  • snapshot 파일로 인덱스,데이터를 복구 가능
  • elasticsearch.yml 에 설정된 경로에 snapshot 저장됨
    • path.repo: [ “/home/{경로}/“ ]
  • elasticsearch.yml 설정 -> repository 생성 -> snapshot 생성 -> snapshot 에서 데이터 복구

repository 생성

PUT _snapshot/{repository 이름}
{
  “type”: “fs”
  “settings”: {
    “location” : “{snapshot 저장 경로(물리경로)}”,
    “compress”: {snaphost 저장시 압축여부 true/false}
    “chunk_size”: “{snapshot 파일을 여러파일로 나눌 때 각 파일 크기}”
    “max_restore_bytes_per_sec” : “{snapshot 복원 속도 (default: 40MB)}”
    “max_snapshot_bytes_per_sec” : “{snapshot 생성 속도 (default: 40MB)}”
    “readonly”: “{repository의 readonly 여부}”
  }
}

snapshot 생성

PUT _snapshot/{repository 이름}/{snapshot 이름}?wait_for_completion=true
{
  “indices”: “{snapshot 생성 대상 인덱스이름}”
  … option …
}

snapshot 조회

GET _snapshot/{repository 이름}/_all

snapshot 복원

``` POST _snapshot/{repository 이름}/{snapshot 이름}/_restore ``

[!failure]- Failure SyntaxError: Unexpected token ‘<’, “«««< HE”… is not valid JSON

  • JSON.parse

  • plugin:obsidian-textgenerator-plugin:176841 PackageManager.load plugin:obsidian-textgenerator-plugin:176841:33

  • plugin:obsidian-textgenerator-plugin:179856 async TextGeneratorPlugin.onload plugin:obsidian-textgenerator-plugin:179856:7

태그:

카테고리:

업데이트:

댓글남기기

참고

ChatGPT with Canvas 모드 소개 및 사용 후기

10월 초, OpenAI가 글과 코드를 작성할 때 유용한 새로운 인터페이스인 ‘캔버스(Canvas)’ 베타 버전을 출시했습니다. (아직은 ChatGPT 유료플랜 사용자만 사용가능) 아래 사진은 개인 디스코드 채널을 통해 수집된 내용입니다. 생성형 AI를 자동화에 활용하면, 특정 주...

Gemini API 개발자 대회 참여 앱 소개 - AI Fashion Style Analyzer

Google이 주최한 Gemini API를 활용한 웹서비스 개발 대회에 참가하면서 AI Fashion Style Analyzer라는 웹 서비스를 제작했습니다. 이 프로젝트는 대회의 목표에 맞춰 간단한 웹서비스를 제작하고 제출하는 것을 목적으로 하며, 무엇보다도 Google의 최신 ...