2016-12-23 5 views
1

큰 개체 (약 100'000)가 많은 개체를 ElasticSearch 인덱스로 인덱싱하려고하지만 개체가 메모리에 맞지 않습니다. 때로는 Postgres 제한을 초과하는 경우도 있고 때로는 PHP가 초과되는 경우도 있습니다. 그리고 나는 한계를 더 이상 늘릴 수 없다.큰 개체를 ElasticSearch로 인덱싱

주문형 레코드는 주문형으로 하나씩 가져옵니다. 페이지 크기가 1로 최소화되었습니다.

프레임 워크는 Symfony3이며 번들은 FOSElasticaBundle입니다.

멋진 아이디어가 있습니까? 인덱싱 된 객체를 디스크에 기록 하시겠습니까?

답변

-1

잘 알려진 문제이지만 php/ORM으로 색인 생성이 느립니다. 훨씬 더 빠른 Java JDBC elasticsearch importer을 살펴 봐야합니다.

+0

하지만 하나의 객체를 가져 오는 데 충분한 메모리가없는 경우이 문제가 어떻게 해결 될까요? :) 그것은 일을 더 빨리 만들 것이고, 나는 그것을 제공합니다. – JohnSmith

+0

자바의 메모리 소비량은 PHP와 아무 관련이 없습니다. 또한이 탄성 검색 공급 장치는 메모리와 속도에 최적화되어 있습니다. – COil

+0

PHP 메모리 문제는 아니지만 Postgres도 마찬가지입니다. 내 원래 게시물을 참조하십시오. – JohnSmith

관련 문제