일부 알고리즘을 설계하려면 맵 축소 환경을 시뮬레이트해야합니다. 나는 두 개의 일자리가 있다고 가정하고 그 각각은지도 세트로 구성되어 있으며 작업을 줄입니다. 지도의 처리 시간을 줄이고 작업을 줄여야합니다. 예를 들어 작업 "j1"은 3 개의 맵 작업과 2 개의 작업을 줄입니다. 이제 맵 태스크 처리 시간 대 태스크 감소 처리의 제약이 있습니까? 대개 어떻게 그것입니까?시뮬레이션 맵 축소 환경
지도가 무엇인지 알지 않고 작업을 줄이면 어떤 가정을하기가 어려울 수 있습니다. 지도의 처리 시간이나 작업을 줄이는 것은 그들이 원하는 것을 전적으로 의존합니다. 담요 가정을 실제로 할 수는 없습니다.
예를 들어, 개별지도 기능은 개별 파일을 입력으로 처리하거나 개별 라인 또는 개별 단어를 처리하여 처리 시간에 직접 영향을 줄 수 있습니다.
감속기는 같은 방법입니다. 그것은 많은 처리, 약간의 처리 또는 전혀 처리를 수행 할 수 없습니다. Hadoop의 MapReduce 구현을 사용하면 MapReduce 작업에 감속기가 없어도 처리량이 다양하다는 사실을 입증 할 수 있습니다. 그것은 단지 개별적인 일이 요구하는 것에 달려 있습니다.
시뮬레이션 된 MapReduce 작업이 실제로 수행 할 작업에 대한 아이디어가 있다면이를 사용하여 서로 다른 작업의 일반적인 처리 시간을 비교할 수 있습니다.
감사합니다. @Eric. 내 관심사는 각지도의 처리 시간을 줄이는 것보다 더 많이한다는 가정을한다면 의미가 있습니까? 나는 현실에서 p (map)> p (reduce) 인 사례를 발견 할 수있다. – Sara
@sweet 말이 맞을 수있는 상황이있다. 나는 그것이 당신이지도를 원하고 기능을 축소하기를 전적으로 의존한다는 점을 지적하고자했습니다. 따라서 p (map)> p (reduce)라고 가정하고 싶다면, 그런 상황이 발생할 수 있습니다. 실제 함수를 기반으로하지 않는 추상적 인 의미로 사용하고있는 것처럼 보이기 때문에 가정 할 필요가 있다면 분명히 가정 할 수 있습니다. –
감사합니다. Eric – Sara