BDB에서 병렬로 여러 파일을 찾아보세요

Question

BDB에서 여러 파일을 병렬로 검색하는 가장 효율적인 방법은 무엇입니까? 한 번에 하나의 파일에 대해이 작업을 수행하는 Perl 스크립트가 있다면 Linux 작업에서 앰퍼샌드가있는 백그라운드에서 프로세스를 포킹/실행하는 것입니까?

이 문제를 해결하기 위해 Hadoop을 어떻게 사용할 수 있습니까?

스레딩은 다른 해결책입니까?

Answer 1

하둡은이 경우와 전혀 관련이 없습니다. Hadoop은 단일 노드에서 단명 조회를 병렬 처리하는 것이 아니라 컴퓨터 클러스터에서 대규모 계산 작업을 병렬 처리하기위한 시스템입니다.

내가 올바르게 이해한다면 Perl은 여러 BDB 파일에서 값을 병렬로 검색하기를 원합니다. 이것은 bdb 호출에 요청이 끝날 때 실행될 콜백 핸들을주는 것이 가장 좋습니다. 스레딩은 C 레이어에서 수행되며 Perl에서 수동으로 수행하는 것보다 훨씬 효율적입니다.

빌딩 블록 :

BDB : http://metacpan.org/pod/BDB

코로 :: BDB : http://metacpan.org/pod/Coro::BDB

AnyEvent : http://metacpan.org/pod/AnyEvent