hadoop 클러스터 설정

Question

hadoop 클러스터의 작업자 노드에 각각 hadoop이 설치되어 있어야합니까?

일부 PC의 컴퓨팅 성능 만 필요한 경우 각 노드에 HDFS를 설치하지 않고 map-reduce 만 사용할 수 있습니까?

Answer 1

작업자 노드에는 DataNodes와 TaskTracker가 모두 포함됩니다. 따라서 MR 작업을 실행하려면 각 컴퓨터에서 필요합니다.

하지만 여기서 핵심은 MR 단독으로 무엇을 할 것인가입니다. 로컬 FS에 저장된 데이터에 대해 MR 작업을 실행하는 것은 그 상황에서 Hadoop이 제공하는 분산 데이터 스토리지 및 병렬 처리 기능을 사용할 수 없으므로별로 유용하지 않을 것입니다.

Answer 2

노드의 컴퓨팅 성능을 사용하려면 해당 노드에서 TaskTracker를 실행해야합니다. 따라서 Hadoop을 설치해야합니다.

HDFS가 필요하지 않은 경우 TaskTracker 만 실행할 수 있으며 DataNode를 시작하지 마십시오.