마루 파일이 복제되어 HDFS에 저장되는 방법을 보여줍니다.

Question

마루판 형식으로 저장된 데이터는 HDFS에 많은 작은 파일이있는 폴더를 생성합니다.

노드에서 HDFS로 파일을 복제하는 방법을 볼 수 있습니까?

미리 감사드립니다.

Answer 1

질문을 올바르게 이해하면 실제로 어떤 데이터 블록이 어떤 데이터 노드에 있는지 추적하고 싶습니다. 이는 특정 apache-spark가 아니기 때문입니다. 다음으로

당신은 하둡 fsck 명령을 사용할 수 있습니다 :이 지정된 경로에있는 모든 블록의 위치를 ​​출력합니다

hadoop fsck <path> -files -blocks -locations  

.