Solr에 엄청난 수의 파일 추가하기

Question

문서를 solrj로 색인하려고했습니다. iam은 Solr4.5를 사용하고 색인을 생성 할 거대한 파일이 있습니다. 성능 병목 현상을 피하기 위해 각 파일을 인덱싱하는 방법은 무엇입니까?

Answer 1

우선은 서버 측 로그와 커밋에 대한 메시지를 찾을 수 있습니다. 각 파일을 구문 분석 한 후 하드 커밋을 수행하는 것이 가능합니다. 그건 비싸. 부드러운 커밋이나 commitWithin 매개 변수를 살펴보면 파일이 약간 나중에 표시되도록 할 수 있습니다.

두 번째로 Solr에게 파일을 가져오고 Tika 추출을 실행하라는 요청을 보내는 것 같습니다. 그래서, 매번 Solr 내부의 Tika가 다시 시작됩니다. 다른 대답이 제시하는 것처럼 배치 할 수는 없습니다.

그러나 클라이언트에서 로컬로 Tika를 실행하고 한 번 초기화하고 계속 유지할 수 있습니다. 그러면 SolrInputDocument를 구성하는 방법에 더 많은 융통성이 생기며 배치 할 수 있습니다.

Answer 2

solr을 사용하면 각 문서의 업데이트 속도가 느립니다.

모든 문서를 추가 한 다음 업데이트로 커밋하는 것이 훨씬 좋습니다. 는 SOLR 위키에서 촬영 : 확인

Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>(); 
docs.add(doc1); 
docs.add(doc2); 

UpdateRequest req = new UpdateRequest(); 
req.setAction(UpdateRequest.ACTION.COMMIT, false, false); 
req.add(docs); 
UpdateResponse rsp = req.process(server);