최근 Apache Mesos를 방문하여 Mesos를 통해 Storm 토폴로지를 성공적으로 배포했습니다.Apache Marathon에서 Hadoop/Storm 작업 실행
아파치 마라톤에서 스톰 토폴로지/하둡 작업을 실행하고 싶습니다 (mesos-storm 프레임 워크를 사용하여 Apache Mesos에서 Storm을 직접 실행하는 문제가 있음).
Apache Marathon에서 Hadoop/Spark 작업을 시작하는 방법을 단계별로 나열 할 수있는 자습서/도움말을 찾을 수 없습니다.
누구든지이 주제에 대한 도움이나 정보를 제공 할 수 있다면 좋을 것입니다 (폭풍/할런티오 작업을 시작하기위한 Marathon의 Json 작업 정의 일 가능성이 있음).
덕분에 많은
당신은 JobTracker 또는 스파크 스케줄러를 시작하는 데 사용할 수 있도록 마라톤, 장기 실행 서비스를위한 것입니다,하지만 당신은에 하둡/스파크 작업처럼 실제 배치 작업을 시작하는 것이 더 낫다 Chronos와 같은 배치 프레임 워크 (https://github.com/airbnb/chronos). 마라톤은 완료/실패시 작업을 다시 시작하지만 Chronos (종속성이있는 분산 된 cron)를 사용하면 예약 된 작업과 복잡한 워크 플로를 설정할 수 있습니다.
다소 오래된 것인데, 다음 자습서는 좋은 예입니다. 답장을 보내
http://mesosphere.com/docs/tutorials/etl-pipelines-with-chronos-and-hadoop/
덕분에, 내가 나서서 마라톤 아파치 메소에 폭풍-도커 클러스터를 배포했습니다. 서비스 발견을 위해 나는 HAProxy를 사용했다. 이 설정은 서비스 (nimbus 또는 사육사 등)가 포트를 사용하여 서로 대화 할 수있게합니다. 예를 들어 서비스에 대한 여러 인스턴스를 추가하는 것은 문제가되지 않습니다. 클러스터는 포트를 사용하여 포트를 찾고이를 모든 서비스 인스턴스. 다음은 Marathon 요리법과 Docker 이미지가있는 GitHub 프로젝트입니다. https://github.com/obaidsalikeen/storm-marathon
Marathon은 Apache가 아니고 [Mesosphere] (https://mesosphere.com/)에서 유지 관리하는 프로젝트입니다. [프로젝트의 Google 그룹] (https://groups.google.com/forum/#!forum/marathon-framework)에서도 질문을 시도 할 수 있습니다. –