hadoop HDFS blcok 크기 고려 사항

Question

누군가 다음과 같은 고려 사항 중 가장 중요하지 않은 HDFS 블록 크기 설정에 대해 말할 수 있습니까? 네임 노드의 메모리

1. 금액 namenodes의
2. 번호. 네임 노드의 HDFS
3. 디스크 용량에 저장됩니다 일반적인 파일의 HDFS
4. 크기가 저장 될 파일의 ​​
5. 번호.

Answer 1

내가 생각하는 중요한 점은 다음과 같습니다.1. namenode의 메모리 양 - 더 많은 메모리가 있으면 더 많은 블록을 허용하여 더 작게 만들 수 있음을 의미합니다.
2. 항상 하나의 namenode가 있습니다. 보조 namenode는 확장성에 영향을주지 않습니다.
3. 저장할 파일이 클수록 더 큰 블록이 필요합니다.
4. 블록 크기를 일반 파일 크기보다 훨씬 크게 만드는 것은 의미가 없습니다. 다른 말로하면 - 일반적인 파일이 수십 MB 인 경우 - 블록 크기는 중요하지 않습니다.
5. 일반적으로 NameNode는 모든 것을 메모리에 저장하기 때문에 중요하지 않으며 일반적으로 디스크가 훨씬 큽니다.

NameNode 메모리를 확보하고 오버 헤드가있는 맵 작업의 수를 줄이며 처리 할 파일이 충분하면 대부분의 경우 더 큰 블록 크기가 더 좋습니다. 모든 작업 추적기를 사용할 수 있습니다 어쨌든.