parallel_bulk에서 파일을 읽는 iterable을 사용할 수 있습니까?

Question

현재 청크로 파일을 읽는 기능이 있는데, 어떤 작업 (구문 분석, 형식 지정)을 수행 한 다음 yeildselasticsearch 대량 로더 형식의 데이터를 사용합니다.

현재 streaming_bulk을 사용하고 있지만 대신 parallel_bulk을 사용할 수 있습니까?

parallel_bulk은 데이터를 동시에 elasticsearch에게 보내는 것을 의미합니까? 아니면 iterator를 동시에 호출한다는 의미입니까?

기본적으로 정확히 parallel_bulk에 여분의 스레드가 사용됩니까?

Answer 1

짧은 대답 : parallel_bulk는 elasticsearch에 데이터를 동시에 보냅니다.

코드 스 니펫 here에서 : parallel_bulk이 (가) 동시에 elasticsearch에 작업 청크를 보냅니다. 그것은 비단뱀 multiprocessing.dummy 모듈을 사용합니다.
데이터가 청크 처리되고 각 청크가 풀의 스레드에 전달됩니다.