Oozie의 엄격한 코디네이터 작업 주문

Question

나는 각각의 작업이 마지막 작업의 출력에 의존하는 일련의 작업을 실행하는 코디네이터를 oozie에두고 있습니다. 각 작업은 날짜가 폴더를 출력하고 아무것도 다른 실행 없을 때이 모두가 내 dev에 클러스터에서 잘 작동

${coord:latest(0)} 

를 사용하여 이전 모델의 출력을 찾습니다; 5 분마다 오지가 다른 작업을 대기열에 넣었고 5 분 동안 이전 작업이 실행되어 새로운 작업이 설정되면 필요한 디렉토리가 표시됩니다.

프로덕션 클러스터에서 문제가 발생합니다. 작업은 제출되지만 대기열에 저장되고 잠시 동안 실행되지는 않지만 여전히 5 분마다 다른 대기열이 대기열에 포함되며 초기화 단계에서 이전에 할당되지 않은 '이전'폴더가 할당됩니다 이전 버전이 실행되지 않았으므로 '최신'기능은 이전 작업과 동일한 입력을 제공합니다. 그런 다음 모두 동일한 입력을받는 10 개의 작업으로 끝납니다.

내가 필요한 것은 코디네이터 시퀀스의 다음 작업이 이전 작업이 완료 될 때까지 생성되지 않도록 엄격하게 방지하는 방법입니다. 이 작업을 수행 할 수있는 방법이 있습니까?

감사합니다.

Answer 1

Oozie가 해결하도록 설계 한 정확한 사용 사례입니다. Oozie는 출시 전 모든 데이터 종속성을 기다립니다. 입력 이벤트에서 "현재 (-1) COORD"이전의 출력을 의미한다

당신의 coordinator.xml

<datasets> 
     <dataset name="my_data" frequency="${coord:days(1)}" initial-instance="2013-01-27T00:00Z"> 
      <uri-template>YOUR_DATA/${YEAR}${MONTH}${DAY}</uri-template> 
     </dataset> 
    ... 
    <datasets> 

    <input-events> 
     <data-in name="my_data" dataset="my_data"> 
      <instance>${coord:current(-1)}</instance> 
     </data-in> 
    </input-events> 

    <output-events> 
     <data-out name="my_data" dataset="my_data"> 
      <instance>${coord:current(0)}</instance> 
     </data-out> 
    </output-events> 

(가)에서 다음 CONFIGS을 이해하려고 노력하십시오. 데이터 세트 URI 팀을 "어제"로 해석하고 Oozie는 출력 플래그 바로 아래에 "_SUCCESS"라는 빈 파일 인 성공 플래그를 검사하여 HDFS에 데이터가 존재하는지 확인합니다. Oozie는 현재 워크 플로를 시작하기 전에이 플래그를 기다리게됩니다.

BTW, 당신은 또한 시작 시간과 코디네이터 작업의 종료 시간을 정의하는

<coordinator-app name="my_coordinator" frequency="${coord:days(1)}" start="${start_time}" end="${end_time}" ...> 

을 설정할 수 있습니다, 그래서 당신은 백 로그 데이터를 잡을 수 있습니다.