solr에서 큰 색인을 최적화하는 방법

Question

Google 색인은 하루 2000-3000 개의 문서를 추가하여 상대적으로 빠르게 증가하고 있습니다. 매일 밤 최적화가 실행됩니다.

요점은 Solr이 최적화하는 동안 이중 디스크 공간이 필요하다는 것입니다. 사실 인덱스의 크기는 44GB입니다.이 크기는 향후 몇 개월 동안 100GB 파티션에서 작동합니다.

요점은 디스크 공간의 50 %는 하루 중 90 % 동안 사용되지 않으며 최적화 중에 만 필요하다는 것입니다.

다음 일 : 우리는 그 파티션에 더 많은 공간을 추가해야합니다. 이는 스토리지 부서의 사람들과 항상 괴로운 토론입니다. (우리는 하나 이상의 인덱스를 가지고 있기 때문에 ...).

그래서 질문 : 디스크의 인덱스 크기를 100 % 추가로 늘리지 않고 인덱스를 최적화 할 수 있습니까?

저는 멀티 코어 분산 검색이 옵션으로 제공된다는 것을 알고 있습니다. 그러나 이는 기본적으로 응용 프로그램을 변경해야하기 때문에 "폴백"솔루션에 불과합니다.

감사합니다.

Answer 1

Lucene의 두포에서 계속 병합이 진행되고 있습니다. solrconfig.xml에서 설정할 수있는 Merge Factor을 읽으십시오. 이 설정을 조정하면 전혀 최적화 할 필요가 없습니다.

Answer 2

maxSegment 매개 변수를 전달하여 부분 최적화를 시도 할 수 있습니다. 이렇게하면 지정한 수만큼 색인이 축소됩니다. 일괄 처리를 권장합니다 (예 : 50 개의 세그먼트가 처음 30 개에서 15 개로 줄어들 경우). 여기에 URL이 있습니다 :

host:port/solr/CORE_NAME/update?optimize=true&maxSegments=(Enter the number of segments you want to reduce to. Ignore the parentheses)&waitFlush=false