출력 파일없이 Hadoop 작업 실행

출력 파일을 지정하지 않고 hadoop 작업을 실행할 수 있습니까? hadoop 작업을 실행하려고하면 예외 출력이 지정되지 않습니다. 자바를 사용하여 아무 절차 나 수행 할 수 있습니다.출력 파일없이 Hadoop 작업 실행

reduce로 처리 한 데이터를 비 관계형 데이터베이스에 기록하므로 더 이상 HDFS에 쓰지 않아도됩니다.

출처

2012-10-03 R45c4l

시도한 작업과 수행하려는 작업에 대한 자세한 정보를 제공해야합니다. MR 업무를 수행하는 목적은 무엇입니까? 그것이 의미가 있기 때문에 그것은 어떤 종류의 산출물을 생산할 것입니다. 어디로 간다? 분명히 HDFS가 아닙니다. HBase 또는 일부 외부 저장소 또는 서비스로 이동합니까? –

죄송합니다. 제 질문을 업데이트했습니다. – R45c4l

불행히도, 당신은 정말로 이것을 할 수 없습니다. 출력물을 쓰는 것은 프레임 워크의 일부입니다. 프레임 워크 외부에서 작업 할 때는 기본적으로 그 결과를 처리해야합니다.

NullOutputFormat은 HDFS에 데이터를 쓰지 않습니다. 그래도 폴더를 만듭니다. Hadoop이 항상 폴더를 생성하도록 허용 한 다음 delete it을 생성 할 수 있습니다.

출처

2012-10-03 13:13:50

FYI NullOutputFormat에는 출력 폴더를 정의 할 필요가 없으므로 필요한 것을 제공해야합니다. –

출력 파일없이 Hadoop 작업 실행

답변

관련 문제