Hadoop에서 로컬 시스템으로 복사

Question

나는 우리의 상자에 ssh 할 수 있고 hadoop fs -ls /theFolder을 수행하고 파일 등을 찾아 볼 수 있습니다.하지만 그게 전부입니다 :) 내 목표는 그 중 하나를 복사하는 것입니다 - 그들은 Avro입니다 - 내 로컬 홈 폴더에.

어떻게 할 수 있습니까? 나는 또한 get 명령을 발견했지만 그 중 하나를 고소하는 방법을 모르겠습니다.

Answer 1

먼저 hadoop fs -get /theFolder을 사용하여 상자에 넣은 현재 디렉토리로 복사하십시오.

그런 다음 scp 또는 내 선호자인 rsync을 사용하여 상자와 로컬 시스템간에 파일을 복사 할 수 있습니다. 여기에 -get 사용 후에 난 여전히 같은 디렉토리에, rsync을 사용하십시오 방법은 다음과 같습니다

rsync -av ./theFolder username@yourlocalmachine:/home/username

이 컴퓨터의 FS에 홈 폴더로 상자의 로컬 FS에서 theFolder를 복사합니다. 두 경우 모두 username을 실제 사용자 이름으로 바꾸고 컴퓨터의 호스트 이름 또는 IP 주소를 yourlocalmachine으로 바꾸십시오.

Answer 2

hadoop의 get을 사용하면 파일을 HDFS에서 상자의 파일 시스템으로 복사 할 수 있습니다. 자세한 내용은 gethere을 참조하십시오.

그런 다음 scp (이것은 ssh과 유사합니다)을 사용하여 해당 파일을 로컬 시스템에 복사 할 수 있습니다. scphere에 대해 자세히 알아보십시오.