2010-05-19 4 views
0

Mapreduce로 무엇을 할 수 있습니까? 사전? 기울기? 무엇을 위해 그것을 사용합니까? 진정한 예를 보여주세요.저는 파이썬과 그 데이터 구조에 익숙합니다. 누군가가 Hadoop Mapreduce를 사용하는 방법에 대한 아주 기본적인 예제를 제공 할 수 있습니까?

+2

, 왜 구글에서 원래 맵리 듀스 종이로 시작하지? http://labs.google.com/papers/mapreduce.html – Amber

+0

Doug가 대답 한 단어 수의 예는 달성 할 수있는 것에 대한 훌륭한 통찰력을 제공합니다. –

답변

1

고전적인 예는 매우 큰 문서 모음에서 단어의 출현을 계산합니다. 맵 단계를 사용하여 모든 문서에 대한 단어 수 집합을 병렬로 생성 한 다음 reduce 단계를 사용하여 각 문서에서 찾은 모든 단어를 전체 수로 대조하십시오. 여기

당신이 아마 찾고 있던 문서 페이지에 링크입니다 : 맵리 듀스는 높은 수준에서 사용하는 방법에 대한 일반적인 예를 들어 http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

관련 문제