Python을 통해 Cloudera Cluster에 연결

Question

나는 Cloudera 클러스터가 실행 중입니다.

현재 API를 쿼리하여 응답을받는 Python 응용 프로그램을 작성 중입니다. 이 응답을 응용 프로그램 내의 텍스트 파일에 쓰려고합니다.

그러나이 텍스트 파일을 프로그램 내에서 프로그래밍 방식으로 cloudera 클러스터로 내보내고 싶습니다. 이것이 가능한가?

이 문제를 해결하기 위해 참조 또는 샘플 코드를 알려주십시오. 아니면 단순히 이것에 대한 당신의 생각과 제안.

감사합니다.

Answer 1

Spotify의 Snakebite 프로젝트를 보면 Python을 통해 HDFS를 직접 사용할 수 있습니다. http://spotify.github.io/snakebite/

from snakebite.client import Client 
client = Client("localhost", 54310, use_trash=False) 
for x in client.ls(['/']): 
    print x