데이터 크기에 기반한 Hadoop 데이터 노드

데이터 크기에 따라 리소스를 예측하려고합니다. 데이터 크기에 따라 필요한 데이터 노드의 수를 결정하기위한 엄지 법칙이 있습니까?데이터 크기에 기반한 Hadoop 데이터 노드

2014-03-25 Seenu

아니요. 일반적으로 전형적인 Hadoop 클러스터에는 노드 당 하나의 DataNode가 있습니다.
짧은 답변을 드려 죄송합니다. :)
Hadoop은 소수의 거대한 파일을 처리하기를 선호합니다.

2014-03-25 10:54:00 Chiron

그런 다음 15TB 데이터가있는 클러스터의 노드 수를 추정하는 방법이 있습니까? – Seenu

@Seenu http://developer.yahoo.com/blogs/hadoop/scalability-hadoop-distributed-file-system-452.html을 살펴보십시오. – Chiron

데이터 (기본적으로)는 3 번 복제됩니다 (원본 사본 + 2 개 이상). 즉, 15TB의 데이터가있는 경우 복제본을 수용하기 위해 최소 45TB의 디스크 공간이 필요합니다.

복제본은 동일한 노드에있을 수 없으므로 기본 구성을 가정하면 15TB의 저장 용량을 가진 데이터 노드가 3 개 이상 필요합니다.

2014-03-25 14:46:00

답변