Hadoop 데이터 분할 및 데이터 흐름 제어

Question

스토리지 시스템으로 A hadoop에 대해 2 가지 질문이 있습니다.

1. 나는 3 데이터 노드의 하둡 클러스터가 나는 큰 파일의 분할을 지시 할 데이터 노드의 내 선택에 (64메가바이트은 그 분할 크기를 가정) 크기 128메가바이트의 말한다. 그런 경우 어떤 분할이 어떤 DataNode로가는지를 제어하는 ​​방법입니다. 나는 우리가 3 개의 데이터 노드 (즉, D1, D2, D3)를 가지고 있다고 말할 수 있고 특정 분할 노드 (A라고 말하게한다)를 원한다면 특정 데이터 노드로 이동하여 D2가되도록 할 수있다.

   어떻게 할 수 있습니까?

2. 가능한 한 가장 작은 분할 크기의 hadoop 파일 시스템입니다. 가장 작은 분할 크기로 어떻게 구성 할 수 있습니까?

Answer 1

1) 당신은 데이터 블록이 원하는만큼 작은

2) (아마하지만 1024 바이트의 배수 여야 배치되는 위치를 제어 할 수는 없지만 내가 있다고 생각하지 않습니다 실제 하드웨어에서는 64/128 MB보다 작은 것이 비효율적입니다. MR 작업에서 CPU 집약적 인 작업을 수행하는 경우 처리 분할 크기를 더 작게 지정할 수 있습니다.