BMC Control-M을 사용하여 hadoop 작업을 예약하는 방법?

Question

BMC Control-M 소프트웨어를 사용하여 Hadoop 작업을 제어/예약하는 방법을 아는 사람이 있습니까? 심지어 가능할까요?

나는 Ooozie를 시도했으며 hadoop 작업을 예약하는 옵션을 더 찾고자합니다.

계발하십시오!

Answer 1

대답은 '예'입니다.

그리고이 대답은 훨씬 나아질 것입니다.

오늘날 다양한 Hadoop 구성 요소에서 사용할 수있는 풍부한 명령 행 인터페이스를 사용할 수 있습니다. 그런 다음 이러한 CLI를 명령으로 개별적으로 실행하거나 Control-M 작업에 직접 포함되거나 쉘 스크립트로 래핑 된 스크립트 (Bash는 널리 사용되는 스크립트)와 결합하여 Control-M으로 예약 할 수 있습니다. 일부 HDFS 조작을 수행 한 다음 MapReduce 작업을 실행하는 샘플 스크립트를 제공했습니다.

우리가 Hadoop에 대한 통합 지원을 발표 할 때 더 좋은 부분이 몇 달 안에 나옵니다. 이 시점에서 (저는 BMC Control-M에 익숙하다고 가정합니다) 다양한 직업 유형을 정의하기 위해 다른 CM과 유사한 그래픽 형식을 제공 할 것입니다 (돼지, 하이브, MapReduce 모두 고려해야하지만 어떤 점이 실제로 구현 될 것입니다.) 상태 모니터링을위한 통합 된 지원, 작업 출력 검색 등.

Control-M을 사용하여 Hadoop 환경을 관리하는 많은 고객으로부터 이미 들었습니다.

Hadoop 작업을 실행하는 "메커니즘"이외에도 그래픽 플로 관리, 광범위한 플랫폼 및 애플리케이션과의 통합, 서비스 수준 관리 기능, 예측, 감사,보고 및 제어를위한 Control-M의 기능을 사용할 수 있습니다. 그리고 훨씬 더.

본인은이 문제에 대해 계속 논의 할 것이고, 특히 아직 초기 단계이기 때문에이 분야에 대한 귀하의 요구 사항을 알고 싶습니다. joe_goldberg@bmc.com으로 보내 주시면 전화 회의 나 데모를 준비하게되어 기쁩니다.

#!/bin/csh 
# 
cd /h/gron/java/hadoop/hadoop-1.0.3 
bin/hadoop dfs -rmr output_$UUID 'dfs[a-z.]+' 
bin/hadoop jar hadoop-examples-1.0.3.jar grep input output_$UUID 'dfs[a-z.]+'