2014-01-21 6 views
1

테스트 목적으로 작은 fetch-generate-parse-index 사이클을 만들고 싶습니다. 이제는 데이터베이스에 수천 개의 레코드가 있습니다. 인덱스를 실행하면 시간이 많이 소요되는 많은 레코드를 인덱싱하기 시작합니다. 이 유스 케이스를 테스트하는 방법에 대한 팁이 있습니까? 한 배치에서 생성 된 페이지의 수를 제한적으로 생성하는 방법이 있습니까?Nutch 팁 테스트 방법

그럼 내가 일반적으로 HBase를하고 SOLR 4.

와 테스트 Nutch 2.2.1에 어떤 조언을 감사

답변

0

당신이 멀티 스레딩을 활성화 한이 데이터베이스에 천 레코드에 대한 연령을 야해?

+0

어디서 생각하세요? 많은 구성이 있습니다. – Babu

+0

이 게시물을 확인하면 해당 Nutch 1.4는 더 많이 2.2와 비슷해야합니다. http://amac4.blogspot.com/2013/07/nutch-crawling-slowly-multi-threaded.html –