Python3을 사용하여 HDFS와 상호 작용할 때 가장 좋은 모듈은 무엇입니까?

Question

나는 hdfs3, snakebite 및 다른 것들이 있음을 알았다. 어느 것이 가장 잘 지원되고 포괄적입니까?

Answer 1

내가 아는 한, 생각할 수있는 가능성은 많지 않습니다. 하지만 난 website 또는 터미널에서 실행하여 다운로드 할 수있는 공식 파이썬 패키지 hdfs 2.0.12을 건의 할 것입니다 :

pip install hdfs 

의 일부 기능 다음 WebHDFS에 대한

• 파이썬 (2, 3) 바인딩 (및 HttpFS) API, 보안 클러스터와 비보안 클러스터를 모두 지원합니다.
• 편리한 Naming URL 캐싱을 위해 별칭을 사용하여 파일을 전송하고 대화식 클라이언트 셸을 시작하는 명령 줄 인터페이스 .
• 을 통한 추가 기능 옵션 확장 : avro, HDFS에서 직접 Avro 파일을 읽고 씁니다. 데이터 프레임, 팬더 데이터 프레임로드 및 저장 kerberos에서 Kerberos 인증 클러스터를 지원합니다.

Answer 2

나는 snakebite, hdfs3 및 hdfs를 시도했습니다.

Snakebite는 다운로드 만 (업로드하지 않음) 지원하므로 절대로 사용할 수 없습니다. 이 3 만 hdfs3 중

는 HA가 설정 지원, 그래서, 그러나 나는 (문제는 여기에 설명 : https://rainerpeter.wordpress.com/2014/02/12/connect-to-hdfs-running-in-ec2-using-public-ip-addresses/)를 데이터 노드의 호스트 이름을 사용하여 multihomed networks와 함께 작동하도록 내 선택하지 못했다 된

그래서 내가 종료 hdfs (2.0.16)를 사용하여 업로드를 지원합니다. HA를 지원하기 위해 bash를 사용하여 몇 가지 해결 방법을 추가해야했습니다.

추신. Hadoop File System과 상호 작용하기 위해 개발 된 Python 라이브러리를 비교하는 흥미로운 기사가 ​​있습니다. http://wesmckinney.com/blog/python-hdfs-interfaces/