MapReduce를 줄이거 나 즉시 실행 하시겠습니까? 아니면지도가 완료 될 때까지 기다리시겠습니까?

Question

MapReduce에서 다음 글을 끝 마치기 만하면됩니다. 한 가지 질문 - 모든지도 작업이 완료 될 때까지 대기 시간을 줄이거 나 일부 결과를 사용할 수있게되면 시작할 수 있습니까?

Answer 1

One question - does reduce wait until all map operations are finished or does can it start once some results are available? 

Ans By의 :In a MapReduce job reducers do not start executing the reduce method until the all Map jobs have completed. Reducers start copying intermediate key-value pairs from the mappers as soon as they are available.That's why we are able to see in the Job-tracker that reduce show few % when some maps are still running ..

Answer 2

하스켈은 내장형으로 map and reduce (fold라고 부름) 명령을 실행하고 그 실행 순서는 정의되지 않습니다 (전체를 평가하지 않는 한 무한한 목록에서도 작동 할 수 있습니다). 그래서 어느쪽으로 든 할 수 있습니다.

구글이 어떻게했는지를 묻는다면, 나는 잘 모르겠다.하지만 그들은 아마 최대 값까지 맵핑하고있는리스트를 소비하도록 설정했을 것이다. 이미 처리 된 값을 메모리에 보관해야합니다.