hadoop의 mapreduce.fileoutputcommitter.marksuccessfuljobs를 oozie보다 우선합니다.

Question

<property> 
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> 
<value>false</value> 
</property> 

위의 속성을 true로 대체하려고합니다. 클러스터의 나머지 작업에서는이 속성을 false로 설정해야하지만, 작업이 끝나면 출력 디렉토리에 _SUCCESS 파일을 생성하기 위해 hadoop이 필요합니다. 출력을 기록하는 워크 플로의 하이브 작업입니다. 도와주세요.

Answer 1

는 하이브는 불행히도 자신의 NullOutputComitter을 설정하여이 기능을 오버라이드 (override) :

conf.setOutputCommitter(NullOutputCommitter.class); 

은 수동으로 플래그를 만들어야합니다 같은

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java 
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java 

이 보이는 참조하십시오. 이에 대해 HIVE-3700을 제출했습니다.

Answer 2

동일한 문제가 발생하여 쉘 동작을 사용하여 플래그를 생성했습니다.

다음은 전체 예제 : http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

Answer 3

당신은

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html