은 내가, elasticsearch-template.json

Question

나는 시스템 로그를 수집하는 logstash + elasticsearch를 사용하고

내가 logstash에서 elasticsearch-template.json라는 이름의 파일을 찾을 노화 로그의 TTL을 설정할 통해 기본 elasticsearch 매핑을 logstash 설정할 수 있습니다

{ 
    "template" : "logstash-*", 
    "settings" : { 
    "index.refresh_interval" : "5s" 
    }, 
    "mappings" : { 
    "_default_" : { 
     "_all" : {"enabled" : true}, 
     "dynamic_templates" : [ { 
     "string_fields" : { 
      "match" : "*", 
      "match_mapping_type" : "string", 
      "mapping" : { 
      "type" : "string", "index" : "analyzed", "omit_norms" : true, 
       "fields" : { 
       "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256} 
       } 
      } 
     } 
     } ], 
     "_ttl": { 
     "enabled": true, 
     "default": "1d" 
     }, 
     "properties" : { 
     "@version": { "type": "string", "index": "not_analyzed" }, 
     "geoip" : { 
      "type" : "object", 
      "dynamic": true, 
      "path": "full", 
      "properties" : { 
       "location" : { "type" : "geo_point" } 
      } 
     } 
     } 
    } 
    } 
} 

다음 logstash를 다시 시작, 삭제 : 경로가 logstash/logstash-1.4.2/logstash/출력 elasticsearch/elasticsearch-template.json

이 같은 파일에 TTL 정보를 추가 lib 디렉토리//입니다 모든 elasticsearch 지수. elasticsearch에서 새 색인의 매핑을 확인했지만이 방법으로 작동하지 않았습니다.

인덱스 템플릿은 어떻게 구성합니까?

Answer 1

JSON 파일이 올바른 폴더에없는 것처럼 보입니다. 폴더 정보 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-templates.html :

구성

인덱스 템플릿도 템플릿 디렉토리 (참고 아래의 설정 위치 (path.conf) 내에 배치 할 수 있도록 다음 템플릿을 사용하는 방법에 대한 설명서입니다 모든 마스터 적합한 노드에 배치해야합니다. 예를 들어, template_1.json이라는 파일은 config/templates 아래에 배치 할 수 있으며 인덱스와 일치하는 경우 추가됩니다. 다음은 언급 된 파일의 샘플입니다.

Answer 2

로깅 설정을 변경해야합니다.

기본 설정을 따른 경우 logstash는 이미 elasticsearch logstash 안에 템플릿을 만들었습니다. logstash는 명시 적으로 말하지 않는 한 elasticsearch에 저장된 템플릿을 계속 사용합니다.

당신이 발견 템플릿 파일을 수정하지만, 그 외에, 당신의 logstash 구성에서 다음을 설정합니다

내가 elasticsearch 출력 블록으로 새로운 template.json 파일을 생성 경로를 정의한

output { 
    elasticsearch { 
    ... 
    template_overwrite => true 
    ... 
    } 
} 

Answer 3

logstash.yml 구성 파일 :

input { 

file { 
path => "/your-path-to-directory/*.log" 
type => "name-of-type" 
} 
} 

,174 : 탄성 대

stdout { codec => json_lines } 

elasticsearch { 

"hosts" => ["ip:port"] 
"index" => "name-of-index-%{+dd.MM.YYYY}" 
template => "/{path-to-logstash-folder}/templates/your-template.json" 
template_overwrite => true 
manage_template => false 
} 

DOCUMENT_TYPE 난 logstash.yml 설정 파일의 입력 블록으로 정의

새로운 방문자를위한 내 template.json 파일

{ 
"name-of-index": { 
"order": 0, 
"version": 50001, 
"template": "name-of-index-*", 
"settings": { 
    "index": { 
    "refresh_interval": "5s" 
    } 
}, 
"mappings": { 
    "_default_": { 
    "dynamic_templates": [ 
     { 
     "message_field": { 
      "path_match": "message", 
      "mapping": { 
      "norms": false, 
      "type": "text" 
      }, 
      "match_mapping_type": "string" 
     } 
     }, 
     { 
     "string_fields": { 
      "mapping": { 
      "norms": false, 
      "type": "text", 
      "fields": { 
       "keyword": { 
       "type": "keyword" 
       } 
      } 
      }, 
      "match_mapping_type": "string", 
      "match": "*" 
     } 
     } 
    ], 
    "_all": { 
     "norms": false, 
     "enabled": true 
    }, 
    "properties": { 
     "@timestamp": { 
     "include_in_all": false, 
     "type": "date" 
     }, 
     "geoip": { 
     "dynamic": true, 
     "properties": { 
      "ip": { 
      "type": "ip" 
      }, 
      "latitude": { 
      "type": "half_float" 
      }, 
      "location": { 
      "type": "geo_point" 
      }, 
      "longitude": { 
      "type": "half_float" 
      } 
     } 
     }, 
     "@version": { 
     "include_in_all": false, 
     "type": "keyword" 
     } 
    } 
    } 
}, 
"aliases": {} 
} 
}