Java가 아닌 클라이언트에서 HDFS 파일을 읽는 방법

Question

내 MR 작업은 보고서 파일을 생성하고 일반 웹에서 버튼을 클릭해야하는 최종 사용자가 해당 파일을 다운로드 할 수 있어야합니다 인터페이스를보고하고 출력을 다운로드해야합니다. this O'Reilly book excerpt에 따르면 HTTP 읽기 전용 인터페이스가 있습니다. XML 기반이지만, 프로그래밍 방식으로 쿼리하고, 나열하고, 다운로드 할 수있는 것이 아니라 웹 브라우저를 통해 볼 수있는 일반적인 웹 인터페이스 인 것 같습니다. 내 서블릿 기반 인터페이스를 작성하는 유일한 방법은 무엇입니까? 또는 hadoop cli 도구를 실행 하시겠습니까?

Answer 1

Java 이외의 것으로 프로그래밍 방식으로 HDFS에 액세스하는 방법은 Trift를 사용하는 것입니다. HDFS 소스 트리에 포함 된 여러 언어 (Java, Python, PHP 등)에 대해 미리 생성 된 클라이언트 클래스가 있습니다.

는 http://wiki.apache.org/hadoop/HDFS-APIs

Answer 2

아마도 CLI AFAIK로 해결해야 할 것 같습니다.

상황에 맞지 않을지 모르겠지만 MR 업무를 시작하는 모든 스크립트를 제공하는 것이 합당한 것 같습니다. hadoop dfs -get ...은 완료된 알려진 디렉토리에 작업을 완료 한 후입니다.

죄송하지만 더 쉬운 해결책을 모르겠습니다.