Hadoop의 노드 레이블

Question

노드 레이블이 HDFS와 관련하여 작동하는 방식에 대한 이해를 찾고 있습니다. 노드 레이블 아래에 정의 된 노드 세트가 제한된 원사를 사용하여 처리하는 것을 이해합니다. HDFS 레벨에서 어떻게 관리됩니까? 40 개의 노드가 있고 노드 레이블에 대해 20 개의 노드를 할당한다고 가정 해보십시오.

1. 처리를 위해 한 노드에서 다른 노드로 데이터를 복사합니까?
2. 데이터가 노드 레이블 아래의 노드에만 상주합니까?

위의 주제에 대해 열심히 노력하고 있습니다.

Answer 1

글쎄, 노드 레이블은 YARN 처리에만 사용됩니다. 데이터 처리는 로컬 데이터를 이용할 수도 있고 아닐 수도 있습니다. 이 경우 데이터는 다른 노드에서 스트리밍됩니다. 처리 시간이 영향을받습니다. 사용 사례에 따라 Labeling이 유용 할 수도 있고 유용하지 않을 수도 있습니다.