Cloudera Hadoop VM 5.10 - HDFS 경로를 찾으십니까?

Cloudera VM을 설치하고 데이터 파일을 HDFS에로드했습니다. "hadoop fs -ls /"명령은 hdfs의 데이터를 확인하는 데 도움이됩니다. 그러나 그것이 거주하고있는 물리적 위치를 알고 싶습니까?Cloudera Hadoop VM 5.10 - HDFS 경로를 찾으십니까?

어떤 제안이 도움이 될 것입니다.

출처

2017-11-04 Learn Hadoop

물리적으로이 위치로 이동 /var/lib/hadoop-hdfs/cache/${user.name}/dfs/data (dfs.datanode.data.dir 이름에 구성된 구성 권한이 거부되었습니다. 제안이 없습니다.) –

실제 데이터는 HDFS가 아닌 수퍼 유저 계정에서 읽을 수있는 것이 아닙니다.

또한 HDFS가 아닌 프로세스에서 일반 텍스트 (또는 사용자가 업로드 한 파일)로 읽을 수있는 것은 아닙니다. 물리적 위치는 원본 파일의 HDFS 블록을 저장합니다.

hdfs-site.xml 구성 파일의 실제 디스크 탑재 지점은 항상 dfs.datanode.data.dir입니다. 하지만 namenode 데이터 디렉토리도 중요합니다.

출처

2017-11-04 14:55:12

고마워요 @ cricket_007. \ 128 mb \ 64 mb보다 큰 파일의 데이터 분할 방법을 알고 싶습니다. 시각적으로 볼 수있는 파일이 있습니까? –

시각적으로 볼 수 있습니까? 직접 생성 된 작업은 입력 스플릿 수에 해당합니다 (입력 데이터를 분할 할 수 있다고 가정) –

Cloudera Hadoop VM 5.10 - HDFS 경로를 찾으십니까?

답변

관련 문제