hadoop - 작업 완료 후 작업 계속 실행

Question

노드가 20 개인 hadoop 클러스터를 실행 중입니다.

많은 메모리를 사용하는 무거운 작업을 실행합니다. 일부 작업은 작업과 "어긋나는"것으로 보이는 몇 가지 이유가 있습니다. 왜 그렇게 보입니까?

1. 작업 제한 시간이 600 초입니다. 이 작업은 그 이상의 작업입니다. 나는 자바 프로세스를 살펴봄으로써이를 안다.

2. 작업 완료 후지도 실행 프로세스가 여전히 실행 중입니다.

누구나 이런 문제가 있습니까?

Answer 1

1. 600 초 동안 진행 보고서가없는 경우에만 작업이 종료됩니다. 진전이있는 한 작업은 계속됩니다.

2. 그럴 수 없습니다. 당신은 그 과정들이 당신 직장에서 왔는지 확신합니까? 동일한 작업을 몇 번 다시 시작하면 이전 작업을 올바르게 중지하지 않은 경우 몇 가지 걸려있는 프로세스가있을 수 있습니다.