HDFS는 기본적으로 파일을 로컬에 저장합니다.

Question

노드가 하나 인 클러스터에서 기본 구성으로 hadoop을 실행 중이며 HDFS가 파일을 로컬에 저장하는 위치를 찾고 싶습니다.

아이디어가 있으십니까?

감사합니다.

Answer 1

당신은 dfs.data.dir 설정에 대한 귀하의 HDFS-default.xml에 구성 파일에보고해야합니다. 기본 설정은 $ {hadoop.tmp.dir}/dfs/data이며 $ {hadoop.tmp.dir}은 실제로 here이라고 표시된 core-default.xml에 있습니다.

구성 옵션은 here입니다. 이 설정에 대한 설명은 다음

어디에 로컬 파일 시스템에 DFS 데이터 노드 정상적으로 저장소의 블록을 결정. 쉼표로 분리 된 디렉토리 목록 인 경우 데이터는 모두 디렉토리에 저장되며 일반적으로 서로 다른 장치에 저장됩니다. 존재하지 않는 디렉터리는 입니다.

Answer 2

"최근 대답"으로 하둡의 버전 번호를 명확히하기 : 당신은 하둡 1.2.1 (유사하거나 뭔가) 를 사용하는 경우, @Binary 얼간이의 대답은 여전히 ​​사실이다

합니다.

하지만 하둡 2.1.0 베타 (또는 비슷한)를 사용하는 경우, 당신은 구성 문서 here과를 읽어야 설정할 수있는 옵션은 다음과 같습니다 dfs.datanode.data.dir

Answer 3

실행이 이것을 cmd에서 프롬프트

bin/hadoop fs -ls 

Answer 4

현재 버전 (2.7.1) 디렉터리가

/tmp/hadoop-${user.name}/dfs/data 

입니다에 대한 것 같다 : 당신은 DHFS 위치를 얻을 것이다 에서 dfs.datanode.data.dir, hadoop.tmp.dir 설정을 바탕으로3210

: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml