첫 번째 시도가 아직 실행 중일 때 hadoop이 두 번째 작업 시도를 시작하게하는 원인은 무엇입니까?

아마존 EMR (Hadoop 0.20.205)을 사용 중이며 내 작업 중 하나가 이상한 상태임을 알 수 있습니다 (아래 참조). 첫 번째 시도가 아직 실행 중이더라도 두 번째 작업 시도가 시작되었습니다. 내 다른 작업은 모두 하나의 작업 시도로 끝났습니다. 그 원인은 무엇일까요?첫 번째 시도가 아직 실행 중일 때 hadoop이 두 번째 작업 시도를 시작하게하는 원인은 무엇입니까?

+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
    |   Task Attempts    | Machine      | Status | Progress | Start Time   | Shuffle Finished     | Sort Finished    | Finish Time | Errors | Task Logs | Counters | Actions | 
    |--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------| 
    |          |        |   | 66.69% |      |          |        |    |  | Last 4KB |   |   | 
    | attempt_201209121354_0021_r_000017_0 | /default-rack/xxx...  | RUNNING |   | 13-Sep-2012 13:10:28 | 13-Sep-2012 13:16:48 (6mins, 19sec) | 13-Sep-2012 13:16:58 (9sec) |    |  | Last 8KB | 0  |   | 
    |          |        |   | +------+ |      |          |        |    |  | All  |   |   | 
    |          |        |   | +------+ |      |          |        |    |  |   |   |   |   
    |--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------| 
    |          |        |   | 66.69% |      |          |        |    |  | Last 4KB |   |   | 
    | attempt_201209121354_0021_r_000017_1 | /default-rack/xxx...  | RUNNING |   | 13-Sep-2012 13:14:55 | 13-Sep-2012 13:18:58 (4mins, 3sec) | 13-Sep-2012 13:19:00 (2sec) |    |  | Last 8KB | 0  |   | 
    |          |        |   | +------+ |      |          |        |    |  | All  |   |   | 
    |          |        |   | +------+ |      |          |        |    |  |   |   |   |   
    +--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

출처

2012-09-13 Enno Shioji

Hadoop은 기본적으로 speculative execution을 사용합니다. 동일한 작업의 두 인스턴스를 시작하고 완료되면 완료되지 않은 인스턴스를 종료합니다. 작업이 끝나면 웹 UI는 대개 작업 웹 페이지에서 투기 작업을 제거합니다 (적어도 20.2에서 수행).

출처

2012-09-13 14:40:01

아하! 고맙습니다! –

먼저 투기 실행이 켜져 있습니다 (기본적으로 Matt로 표시됨). 이제 투기 실행은 Hadoop 서버가 모두 같지 않고 일부가 다른 서버보다 빠르거나 빠르다면 유용합니다.

이전 Hadoop 클러스터에서 두 번째 인스턴스가 원본보다 빠르게 완료되는 경우가 많이있었습니다.

출처

2012-09-14 09:54:10

첫 번째 시도가 아직 실행 중일 때 hadoop이 두 번째 작업 시도를 시작하게하는 원인은 무엇입니까?

답변

관련 문제