0
저는 Hadoop을 처음 접했고 특히 Hadoop Job Scheduling을 처음 접했습니다. 여기 내가하려는 일이 있습니다.조건부로 Hadoop 작업을 예약하는 방법은 무엇입니까?
각 흐름에는 하둡 작업이 있습니다. 나는 이러한 흐름을 같은 프로젝트 나 다른 프로젝트에 넣을 자유가있다. 클러스터에서 Hadoop 작업을 동시에 실행하지 않으려 고하지만, 대안으로 실행되도록하고 싶습니다.
예. flow_1 (with hadoop_job_1)이 실행되고 종료됩니다 -> flow_2 (hadoop_job_2)가 실행되고 완료 됨 -> flow_1 (hadoop_job_1)이 실행되고 완료되는 등.
물론 특수 조건을 정상적으로 처리하고 싶습니다. 예. flow_1이 완료되었지만 flow_2가 준비되지 않은 경우 flow_1은 준비가되면 다시 실행될 기회를 얻습니다. flow_1이 실패하면 flow_2는 계속 회전합니다.
어떤 스케줄러를 탐색 할 수 있는지 알고 싶습니다. 이것을 할 수 있습니다.
우리는 MapR을 사용하고 있습니다.
감사합니다.