copyFromLocal 스위치를 사용하여 데이터를 hdfs로 이동

Question

여기에 무슨 일이 일어나고 있는지 모르지만 로컬 파일 시스템의 디렉토리에서 hdfs에 지정된 디렉토리로 간단한 파일을 복사하려고합니다. 나는 다음과 같은 명령을 사용하고

<name>dfs.data.dir</name> 
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value> 

and 

<name>dfs.name.dir</name> 
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value> 

- - 나는 HDFS의 디렉토리가/홈/VAIBHAV/하둡/dataNodeHadoopData에는 다음과 같은 속성을 사용하여 될 것이라고 지정한 내에서

HDFS-site.xml의

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data /home/vaibhav/Hadoop/dataNodeHadoopData 

u.data 파일을 로컬 파일 시스템 위치에서 Hdfs 디렉토리로 지정한 디렉토리로 복사하십시오. 그러나 내가 이것을 할 때, 아무 일도 일어나지 않습니다. 오류도, 아무것도 아닙니다. 그리고 어떤 파일도 hdsf에 복사되지 않습니다. 내가 뭔가 잘못하고 있는거야? 모든 권한 문제가있을 수 있습니까?

제안이 필요합니다.

의사 분산 단일 노드 모드를 사용하고 있습니다.

관련 노트에서지도 축소 프로그램에서 inputFilePath /home/vaibhav/ml-100k/u.data를 가리 키도록 구성을 설정했는지 묻습니다. 그래서 자동으로 지정된 위치에서 hdfs로 파일을 복사하지 않겠습니까?

Answer 1

dfs.data.dir과 dfs.name.dir은 서로 다른 두 개의 기존 디렉토리를 가리켜 야한다고 생각합니다. 또한 구성에서 디렉토리를 변경 한 후에 namenode FS를 형식화했는지 확인하십시오.

HDFS로 복사하는 동안 대상을 잘못 지정하는 중입니다. HDFS에 로컬 파일을 복사하는 올바른 구문은 다음과 같습니다

bin/hadoop dfs -copyFromLocal <local_FS_filename> <target_on_HDFS> 

예 :

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data 

이는 HDFS에 사용자의 홈 디렉토리에있는 파일 my.data을 만들 것입니다. 파일을 HDFS로 복사하기 전에 먼저 디렉토리 내용과 디렉토리 생성을 마스터하십시오.