Hadoop HDFS 최대 파일 크기

Question

동료 중 한 명은 HDFS에 최대 파일 크기가 없다고 생각합니다. 즉, 128/256MB 덩어리로 분할하면 파일 크기를 저장할 수 있습니다 (HDFS 디스크의 크기는 분명히 제한되어 있으며, 하지만 그 유일한 한계입니다). 나는 한도가 있다고 말하는 것을 찾을 수 없으니 그녀가 맞습니까?

Answer 1

짐

덕분에, 나는 하둡의 전문가가 아니지만, 같은 전체 저장 용량과 최대 네임 스페이스 크기 암시 적 요인이 있기는하지만 AFAIK, 하나의 파일 크기에 대한 명시 적 제한이 없다. 또한 엔티티 수 및 디렉토리 크기에 대한 관리적인 따옴표가있을 수 있습니다. HDFS 용량 주제는 this document에 잘 설명되어 있습니다. 따옴표는 here으로 표시되고 here을 설명합니다.

마지막 링크에서 언급 한 Michael G Noll의 블로그에 약간의주의를 기울일 것을 권장합니다. 여기에는 많은 hadoop 관련 주제가 포함되어 있습니다.

Answer 2

그녀는 HDFS에 최대 파일 크기가 없다고 말하는 것이 맞다고 생각합니다. 실제로 설정할 수있는 유일한 것은 청크 크기입니다. 기본적으로 64MB입니다. 나는 어떤 길이의 크기도 저장할 수 있다고 생각한다. 유일한 제한은 파일의 크기가 클수록 파일을 수용 할 수있는 하드웨어가 커질 수 있다는 것이다.

Answer 3

물론 실제적인 한계가 있습니다. 하지만 물리적으로 HDFS Block ID는 Java longs 이므로 최대 2^63이고 블록 크기가 64MB이면 최대 크기는 512 yabytes입니다.