탄성 검색 검색 시간 일관성

Question

나는 아주 간단한 질문이 있습니다.

나는 1600000 개의 비교적 큰 문서를 포함하는 elasticsearch 색인을 가지고 있으며, 색인을 스캔하여 고전적인 SQL 데이터베이스와 동기화해야합니다.

내 문서에는 SQL ID와 타임 스탬프가 포함됩니다.

SQL 데이터베이스와 탄성 색인을 동기화하려면 간단히 행과 문서를 순차적으로 읽습니다 (ID로 정렬 됨). ID를 비교하면 문서를 삭제해야하는지 (비교가 음수인지) 확인할 수 있습니다. SQL 행 (비교 긍정적 인) 새 문서, 그리고 비교가 0이면 내가 문서를 업데이 트 해야하는지 알고 타임 스탬프를 비교하십시오.

나는 작동하지만 나는 문서를 읽는 것이 내가 미리 읽는 것을 훨씬 느리게한다는 것을 관찰한다.

{ 
    "from" : 0, "size" : 10000, 
    "fields" : ["idannonce","ts"], 
    "sort" : ["idannonce"], 
    "query" : "match_all" {} 
} 

이 간단한 쿼리 할 때 "에서 많은 느린 :

나는 이런 식으로 뭔가를 요청 필드"에서 "때마다 이동, 인덱스에 검색을 반복하여 덩어리에서 내 문서를 검색 "이 0 일 때보다 1000000입니다.

이 정상적인 동작입니까? "idannonce"필드를 인덱싱해야하는 것과 대략 같은 시간이 걸릴 것이라고 생각했습니다.

의견이 있으십니까? 일정한 시간에 실행되도록 동일한 쿼리를 작성하는 방법이 있습니까?

감사합니다.

Answer 1

검색 API는이 사용 사례를 위해 설계되지 않았습니다. 차선의 성능을 얻는 것 외에도 변경 사항이 인덱스에 적용될 때 검색 창을 "이동"하여 삭제 및 추가가 탄성 검색 결과를 방해하기 때문에 일부 변경 사항이 누락되었을 수 있습니다. 이 작업에 훨씬 더 적합한 Scroll API으로 전환해야합니다.

Answer 2

나는 비슷한 일을하고 있었지만 https://github.com/jprante/elasticsearch-river-jdbc이 더 유용하다는 것을 알았습니다. 매우 간단한 통합입니다. 이것을 사용해보십시오. 코드 요령을 게시하십시오. 또한 https://github.com/lukas-vlcek/bigdesk은 쿼리를 실행할 때 그래프를 관찰합니다.