Jojo in Hadoop? 그래픽을위한 Hadoop?

Question

this과 this 종이를 읽은 후, MapReduce에서 대규모 데이터 세트를위한 분산 볼륨 렌더링 설정을 학부 논문 작업으로 구현하기로 결정했습니다. Hadoop은 합리적인 선택입니까? 자바가 성능 향상을 없애거나 CUDA와의 통합을 어렵게 만들지는 않습니까? Phoenix ++가 더 나은 도구일까요?

Answer 1

Hadoop에는 Hadoop Pipe라는 C++ API도 있습니다. 파이프는 C++로 Map and Reduce 코드를 작성하여 사용 가능한 C/C++ 라이브러리와 인터페이스 할 수 있습니다. 이것은 CUDA와의 인터페이스를 가능하게합니다.

필자가 이해하기로는 MapReduce 만 다시 작성한 것이므로 모든 네트워크 통신과 분산 파일 시스템은 여전히 ​​Java에서 처리됩니다. 하둡은 작업의 병렬화를 단순하고 일반적인 것으로 만들기 때문에 가장 효율적인 MapReduce 구현이 될 수 없습니다. 사용 가능한 프로그래머 시간 대 효율성에 대한 요구 사항은 Hadoop 또는보다 효율적이고 낮은 수준의 프레임 워크를 사용하는 데 결정적인 요소가 될 것입니다.

Word Count in Pipes 예. 불행히도 설명서가 실제로 부족하지만 소스를 사용할 수있게되면 작업이 훨씬 쉬워집니다.