Spark에서 Elasticsearch 로의 Timestamp 매핑

Question

나는 elasticsearch에 대한 Spark를 사용하여 로그를 작성하고 있습니다. 로그는 timestamp 필드가있는 JSON 형식입니다.

나는 탄성 인덱스에 JSON 로그를 쓰기 예를 { "timestamp": "2016-11-02 21:16:06.116" }는, 타임 스탬프 문자열 대신 날짜로 분석된다. 내가 sparkConf.set("es.mapping.timestamp", "timestamp")를 사용 sparkconf의 속성을 설정하려하지만 실행시 오류 에 따라 발생 : org.apache.spark.util.TaskCompletionListenerException를 : [: 46 : 55.1155 2016년 11월 3일 15]

Answer 1

당신에게 타임 스탬프를 구문 분석하는 데 실패 16 : 타임 스탬프 데이터 형식을

2016년 11월 2일 (21)를 변경할 수 06.116 -> 2016-11-02T21 : 16 : 나 2016-11-02T21을 사용하여 06.116

을

: 16 : 06.116에 탄성 삽입 작품

유형 속성

"create_time": { 
    "format": "strict_date_optional_time||epoch_millis", 
    "type": "date"