Hadoop Job Tracker 웹 인터페이스에서 EMR 작업 로그에 액세스

Question

내 마스터/슬레이브 노드에 대한 EC2 보안 그룹을 열었으므로 로컬 브라우저에서 작업 추적기 인터페이스에 액세스 할 수 있습니다. 나는 http://MASTER-IP:9100을 사용하여 연결합니다. 그러므로 나는 (링크 내 로컬 컴퓨터에서 액세스 할 수 없습니다 http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:9100/taskdetails.jsp?tipid=task_201212181113_0001_m_000000

나는 내부 EC2의 IP 주소가 얻는 링크 - 나는 작업의 세부 사항에서 작업 추적기 로그에 액세스하려고 할 때까지

모든 것이 잘 작동 http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true)

EMR을 변경하여 해당 링크에 작업 추적기의 공용 IP가 포함될 수 있습니까?

감사합니다.

Answer 1

호스트 이름과 함께 모든 슬레이브의 공용 IP를/etc/hosts 파일에 추가하십시오.

Answer 2

매우 쉽게 할 수있는 일은 마스터 노드에 ssh이며이 노드에서 택시는 curl이고이 로그 위치에 있습니다. 일반적으로 우리가 항상 마스터 노드에 터널 및 터널하기 위해 http://localhost:9100

를 통해 작업 추적기 웹 iterface에 액세스하면 다음을 수행 할 수 있습니다

ssh -i your-pem-file.pem -L 9100:ec2-xx-xx-xx-xx.computamazonaws.com:9100 hadoop@ec2-xx-xx-xx-xx.compute-1.amazonaws.com 

을 그리고 간단한 curl를 통해 로그에 액세스, 같은 :

$ curl http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true 

또한 aws 콘솔에 로그인하면 실행중인 ec2 인스턴스의 목록을 찾을 수 있습니다. 거기에서 원하는 시스템의 로그에 대해 개인 IP와 해당 공용 IP를 얻을 수 있습니다. 그런 다음 개인 IP를 로그의 URL에있는 검색된 공용 IP로 바꿀 수 있습니다.

하지만 첫 번째 해결 방법은 매우 간단하며 일반적으로하는 일입니다.

Answer 3

ssh 터널링을 시도하십시오. 그리고 Firefox-Plugin FoxyProxy를 사용하십시오. 로컬 브라우저에서 작업 추적기 인터페이스를보고 로그를 검색 할 수 있어야합니다.