복사하지 않고 직접 데이터를 hdfs로 스트리밍

Question

로컬 노드에 저장하지 않고 python을 사용하여 hdfs에 직접 데이터를 쓰고 copyfromlocal을 사용하여 다른 옵션을 찾고 있습니다.

나는 HDFS는, 인수로 라인과 다음의 무언가를 로컬 파일 및 사용 쓰기 방법과 유사한 파일을 사용하고 싶습니다 :

hdfs_file = hdfs.create("file_tmp") 
    hdfs_file.write("Hello world\n") 

위에 설명 된 사용 사례와 유사한 무언가가 존재합니까?

Answer 1

임 파이썬 HDFS 라이브러리 확실하지만, 당신은 항상 하둡 (FS)를 통해 스트리밍 명령을 넣어 사용하여 stdin에서 복사를 나타낼 수 없습니다 '-'소스 파일 이름으로 :

hadoop fs -put - /path/to/file/in/hdfs.txt