1. 홈
  2. 질의 응답
  3. 색인 복구 후 탄성 검색이 응답하지 않습니다.

색인 복구 후 탄성 검색이 응답하지 않습니다.

2014-06-22 3 views
4

색인을 잃어 버린 후 어떤 요청에도 응답하지 않습니다 (알려지지 않은 이유로). 서버를 다시 시작한 후 ES가 인덱스를 복구하려고 시도하지만 전체 인덱스 (약 200MB 만 해당)를 읽는 즉시 ES가 응답을 중지합니다. 마지막으로 내가 본 오류는 SearchPhaseExecutionException[Failed to execute phase [query_fetch], all shards failed]입니다. 단일 노드 가상 서버에서 ES를 사용하고 있습니다. 색인에는 약 3mln 문서 (200MB)가있는 단 하나의 조각이 있습니다.색인 복구 후 탄성 검색이 응답하지 않습니다.

이 색인을 어떻게 복구 할 수 있습니까?

다음은 ES 요청 동일한 노드 ES의 응답에 다른 인덱스를 삭제 한 후

[2014-06-21 18:43:15,337][WARN ][bootstrap    ] jvm uses the client vm, make sure to run `java` with the server vm for best performance by adding `-server` to the command line 
[2014-06-21 18:43:15,554][WARN ][common.jna    ] Unknown mlockall error 0 
[2014-06-21 18:43:15,759][INFO ][node      ] [Crimson Cowl] version[1.1.0], pid[1031], build[2181e11/2014-03-25T15:59:51Z] 
[2014-06-21 18:43:15,759][INFO ][node      ] [Crimson Cowl] initializing ... 
[2014-06-21 18:43:15,881][INFO ][plugins     ] [Crimson Cowl] loaded [], sites [head] 
[2014-06-21 18:43:21,957][INFO ][node      ] [Crimson Cowl] initialized 
[2014-06-21 18:43:21,958][INFO ][node      ] [Crimson Cowl] starting ... 
[2014-06-21 18:43:22,275][INFO ][transport    ] [Crimson Cowl] bound_address {inet[/10.0.0.13:9300]}, publish_address {inet[/10.0.0.13:9300]} 
[2014-06-21 18:43:25,385][INFO ][cluster.service   ] [Crimson Cowl] new_master [Crimson Cowl][UJNl8hGgRzeFo-DQ3vk2nA][esubuntu][inet[/10.0.0.13:9300]], reason: zen-disco-join (elected_as_master) 
[2014-06-21 18:43:25,438][INFO ][discovery    ] [Crimson Cowl] elasticsearch/UJNl8hGgRzeFo-DQ3vk2nA 
[2014-06-21 18:43:25,476][INFO ][http      ] [Crimson Cowl] bound_address {inet[/10.0.0.13:9200]}, publish_address {inet[/10.0.0.13:9200]} 
[2014-06-21 18:43:26,348][INFO ][gateway     ] [Crimson Cowl] recovered [2] indices into cluster_state 
[2014-06-21 18:43:26,349][INFO ][node      ] [Crimson Cowl] started

를 기록하지만 인덱스를 복구하는 데 실패합니다. 여기에 로그가 있습니다

[2014-06-22 08:00:06,651][WARN ][bootstrap    ] jvm uses the client vm, make sure to run `java` with the server vm for best performance by adding `-server` to the command line 
[2014-06-22 08:00:06,699][WARN ][common.jna    ] Unknown mlockall error 0 
[2014-06-22 08:00:06,774][INFO ][node      ] [Baron Macabre] version[1.1.0], pid[2035], build[2181e11/2014-03-25T15:59:51Z] 
[2014-06-22 08:00:06,774][INFO ][node      ] [Baron Macabre] initializing ... 
[2014-06-22 08:00:06,779][INFO ][plugins     ] [Baron Macabre] loaded [], sites [head] 
[2014-06-22 08:00:08,766][INFO ][node      ] [Baron Macabre] initialized 
[2014-06-22 08:00:08,767][INFO ][node      ] [Baron Macabre] starting ... 
[2014-06-22 08:00:08,824][INFO ][transport    ] [Baron Macabre] bound_address {inet[/10.0.0.3:9300]}, publish_address {inet[/10.0.0.3:9300]} 
[2014-06-22 08:00:11,890][INFO ][cluster.service   ] [Baron Macabre] new_master [Baron Macabre][eWDP4ZSXSGuASJLJ2an1nQ][esubuntu][inet[/10.0.0.3:9300]], reason: zen-disco-join (elected_as_master) 
[2014-06-22 08:00:11,975][INFO ][discovery    ] [Baron Macabre] elasticsearch/eWDP4ZSXSGuASJLJ2an1nQ 
[2014-06-22 08:00:12,000][INFO ][http      ] [Baron Macabre] bound_address {inet[/10.0.0.3:9200]}, publish_address {inet[/10.0.0.3:9200]} 
[2014-06-22 08:00:12,645][INFO ][gateway     ] [Baron Macabre] recovered [1] indices into cluster_state 
[2014-06-22 08:00:12,647][INFO ][node      ] [Baron Macabre] started 
[2014-06-22 08:05:01,284][WARN ][index.engine.internal ] [Baron Macabre] [wordstat][0] failed engine 
java.lang.OutOfMemoryError: Java heap space 
     at org.apache.lucene.index.ParallelPostingsArray.<init>(ParallelPostingsArray.java:35) 
     at org.apache.lucene.index.FreqProxTermsWriterPerField$FreqProxPostingsArray.<init>(FreqProxTermsWriterPerField.java:254) 
     at org.apache.lucene.index.FreqProxTermsWriterPerField$FreqProxPostingsArray.newInstance(FreqProxTermsWriterPerField.java:279) 
     at org.apache.lucene.index.ParallelPostingsArray.grow(ParallelPostingsArray.java:48) 
     at org.apache.lucene.index.TermsHashPerField$PostingsBytesStartArray.grow(TermsHashPerField.java:307) 
     at org.apache.lucene.util.BytesRefHash.add(BytesRefHash.java:324) 
     at org.apache.lucene.index.TermsHashPerField.add(TermsHashPerField.java:185) 
     at org.apache.lucene.index.DocInverterPerField.processFields(DocInverterPerField.java:171) 
     at org.apache.lucene.index.DocFieldProcessor.processDocument(DocFieldProcessor.java:248) 
     at org.apache.lucene.index.DocumentsWriterPerThread.updateDocument(DocumentsWriterPerThread.java:253) 
     at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:453) 
     at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:1529) 
     at org.elasticsearch.index.engine.internal.InternalEngine.innerIndex(InternalEngine.java:532) 
     at org.elasticsearch.index.engine.internal.InternalEngine.index(InternalEngine.java:470) 
     at org.elasticsearch.index.shard.service.InternalIndexShard.performRecoveryOperation(InternalIndexShard.java:744) 
     at org.elasticsearch.index.gateway.local.LocalIndexShardGateway.recover(LocalIndexShardGateway.java:228) 
     at org.elasticsearch.index.gateway.IndexShardGatewayService$1.run(IndexShardGatewayService.java:197) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
[2014-06-22 08:05:02,168][WARN ][cluster.action.shard  ] [Baron Macabre] [wordstat][0] sending failed shard for [wordstat][0], node[eWDP4ZSXSGuASJLJ2an1nQ], [P], s[INITIALIZING], indexUUID [LC3LMLxgS3CkkG_pvfTeSg], reason [engine failure, message [OutOfMemoryError[Java heap space]]] 
[2014-06-22 08:05:02,169][WARN ][cluster.action.shard  ] [Baron Macabre] [wordstat][0] received shard failed for [wordstat][0], node[eWDP4ZSXSGuASJLJ2an1nQ], [P], s[INITIALIZING], indexUUID [LC3LMLxgS3CkkG_pvfTeSg], reason [engine failure, message [OutOfMemoryError[Java heap space]]] 
[2014-06-22 08:53:22,253][INFO ][node      ] [Baron Macabre] stopping ... 
[2014-06-22 08:53:22,267][INFO ][node      ] [Baron Macabre] stopped 
[2014-06-22 08:53:22,267][INFO ][node      ] [Baron Macabre] closing ... 
[2014-06-22 08:53:22,272][INFO ][node      ] [Baron Macabre] closed 
[2014-06-22 08:53:23,667][WARN ][bootstrap    ] jvm uses the client vm, make sure to run `java` with the server vm for best performance by adding `-server` to the command line 
[2014-06-22 08:53:23,708][WARN ][common.jna    ] Unknown mlockall error 0 
[2014-06-22 08:53:23,777][INFO ][node      ] [Living Totem] version[1.1.0], pid[2137], build[2181e11/2014-03-25T15:59:51Z] 
[2014-06-22 08:53:23,777][INFO ][node      ] [Living Totem] initializing ... 
[2014-06-22 08:53:23,781][INFO ][plugins     ] [Living Totem] loaded [], sites [head] 
[2014-06-22 08:53:25,828][INFO ][node      ] [Living Totem] initialized 
[2014-06-22 08:53:25,828][INFO ][node      ] [Living Totem] starting ... 
[2014-06-22 08:53:25,885][INFO ][transport    ] [Living Totem] bound_address {inet[/10.0.0.3:9300]}, publish_address {inet[/10.0.0.3:9300]} 
[2014-06-22 08:53:28,913][INFO ][cluster.service   ] [Living Totem] new_master [Living Totem][D-eoRm7fSrCU_dTw_NQipA][esubuntu][inet[/10.0.0.3:9300]], reason: zen-disco-join (elected_as_master) 
[2014-06-22 08:53:28,939][INFO ][discovery    ] [Living Totem] elasticsearch/D-eoRm7fSrCU_dTw_NQipA 
[2014-06-22 08:53:28,964][INFO ][http      ] [Living Totem] bound_address {inet[/10.0.0.3:9200]}, publish_address {inet[/10.0.0.3:9200]} 
[2014-06-22 08:53:29,433][INFO ][gateway     ] [Living Totem] recovered [1] indices into cluster_state 
[2014-06-22 08:53:29,433][INFO ][node      ] [Living Totem] started 
[2014-06-22 08:58:05,268][WARN ][index.engine.internal ] [Living Totem] [wordstat][0] failed engine 
java.lang.OutOfMemoryError: Java heap space 
     at org.apache.lucene.index.FreqProxTermsWriterPerField$FreqProxPostingsArray.<init>(FreqProxTermsWriterPerField.java:261) 
     at org.apache.lucene.index.FreqProxTermsWriterPerField$FreqProxPostingsArray.newInstance(FreqProxTermsWriterPerField.java:279) 
     at org.apache.lucene.index.ParallelPostingsArray.grow(ParallelPostingsArray.java:48) 
     at org.apache.lucene.index.TermsHashPerField$PostingsBytesStartArray.grow(TermsHashPerField.java:307) 
     at org.apache.lucene.util.BytesRefHash.add(BytesRefHash.java:324) 
     at org.apache.lucene.index.TermsHashPerField.add(TermsHashPerField.java:185) 
     at org.apache.lucene.index.DocInverterPerField.processFields(DocInverterPerField.java:171) 
     at org.apache.lucene.index.DocFieldProcessor.processDocument(DocFieldProcessor.java:248) 
     at org.apache.lucene.index.DocumentsWriterPerThread.updateDocument(DocumentsWriterPerThread.java:253) 
     at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:453) 
     at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:1529) 
     at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1199) 
     at org.elasticsearch.index.engine.internal.InternalEngine.innerIndex(InternalEngine.java:523) 
     at org.elasticsearch.index.engine.internal.InternalEngine.index(InternalEngine.java:470) 
     at org.elasticsearch.index.shard.service.InternalIndexShard.performRecoveryOperation(InternalIndexShard.java:744) 
     at org.elasticsearch.index.gateway.local.LocalIndexShardGateway.recover(LocalIndexShardGateway.java:228) 
     at org.elasticsearch.index.gateway.IndexShardGatewayService$1.run(IndexShardGatewayService.java:197) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
[2014-06-22 08:58:06,046][WARN ][cluster.action.shard  ] [Living Totem] [wordstat][0] sending failed shard for [wordstat][0], node[D-eoRm7fSrCU_dTw_NQipA], [P], s[INITIALIZING], indexUUID [LC3LMLxgS3CkkG_pvfTeSg], reason [engine failure, message [OutOfMemoryError[Java heap space]]] 
[2014-06-22 08:58:06,047][WARN ][cluster.action.shard  ] [Living Totem] [wordstat][0] received shard failed for [wordstat][0], node[D-eoRm7fSrCU_dTw_NQipA], [P], s[INITIALIZING], indexUUID [LC3LMLxgS3CkkG_pvfTeSg], reason [engine failure, message [OutOfMemoryError[Java heap space]]]

출처

2014-06-22 user3742227

+0

메모리 힙 문제처럼 보인다 색인 다시 채우기 다음,이 폴더를 삭제

  • usr/local/var/elasticsearch/에 보관됩니다,하지만 난 몰라 무엇을 정확히 ES 설정을 변경합니다. – user3742227

    • +0

    당신은 당신의 클러스터를 시각화하기 위해 elasticsearch-head와 같은 admin-ui를 사용하고 있습니까? – eliasah

    +0

    인스턴스/서버의 메모리 용량은 얼마입니까? 어떤 운영 체제를 실행하고 있습니까? –

    답변

    0

    복구하려면 Elasticsearch 클러스터가 필요합니다. 힙에 더 많은 메모리를 할당해야합니다. 상당히 작은 인스턴스에서 실행하기 때문에 약간 어려울 수 있지만 다음은 수행 할 작업입니다.

    1. 힙에 더 많은 메모리를 할당하도록 구성을 변경하십시오. 아닙니다
      현재 설정을 지우지 만 몇 가지 방법이 있습니다.
      환경 변수를 설정하는 것이 가장 쉽습니다.
      ES_HEAP_SIZE입니다. 1GB로 시작해서 시도해보고 나서 작은 증분으로 이미 이 1.6GB 메모리 인스턴스로 수행 할 수있는 작업의 한계에 가깝습니다. 또는 을 Elasticsearch 실행에 사용 된 파일로 변경할 수 있습니다. - 에 따라 달라 지지만, Elasticsearch 홈 디렉토리 아래의 bin 디렉토리 에 있어야합니다. Linux 설치의 경우 파일은 elasticsearch 및 elasticsearch.in.sh입니다.
    2. 큰 인스턴스로 이동하십시오. 더 많은 메모리가있는 시스템에서 을 복구하는 것이 훨씬 쉬울 것입니다. 위의 단계가 작동하지 않으면 모든 파일을 다른 큰 인스턴스로 복사하고 위에있는 단계를 더 큰 힙 크기로 다시 시도하십시오.

    출처

    2014-06-22 19:48:15

    +0

    도움이되었습니다. 하지만 다른 서버로 이동하고 HEAP_SIZE를 높이는 대신에 뭔가 다른 것이 있습니까? – user3742227

    +0

    캐시 설정을 조정할 수는 있지만 관리중인 색인 크기에 충분한 메모리가 없다는 문제가 있습니다. http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-fielddata.html 및 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index를 참조하십시오. 수정 가능한 캐시 설정은 -modules-cache.html을 참조하십시오. –

    +0

    오늘'Query Failed [메인 쿼리 실행 실패]] 오류; 중첩 : ElasticsearchException [java.lang.OutOfMemoryError : Java 힙 공간]; 중첩 : ExecutionError [java.lang.OutOfMemoryError : Java 힙 공간]; 중첩 된 : OutOfMemoryError [자바 힙 공간]; }'. 힙 크기는 이미 최대 값입니다. 이 상황에서 내가 할 수있는 일은 무엇인가? – user3742227

    -2

    여기 서버에서 과부하가 발생했습니다. 아마도 불량 섹터가있을 수 있습니다. 당신이해야 할 일은 기존 색인을 삭제하고 색인을 다시 색인하는 것입니다. 리눅스에

    ,

    • Elasticsearch 임시 파일

    출처

    2015-02-18 20:16:07

    관련 문제

     관련 문제