11
돼지에 JOIN 대신 COGROUP을 사용하면 어떤 장점이 있습니까 (wrt 성능/맵 감소 없음)?돼지에 COGROUP을 결합하십시오
http://developer.yahoo.com/hadoop/tutorial/module6.html은 생산되는 출력 유형의 차이에 대해 이야기합니다. 그러나 "출력 스키마"를 무시하면 성능에 큰 차이가 있습니까?
A
답변
12
주요 성능 차이는 없습니다. 이 말을하는 이유는 모두 동일한 데이터를 감속기에 전달하는 단일 MapReduce 작업이되는 것입니다. 둘 모두 외부 키인 키와 함께 모든 레코드를 전달해야합니다. 전혀 그렇지 않다면 COGROUP은 조금 더 빨라질 수 있습니다. 왜냐하면 히트를 가로 질러 데카르트 제품을 수행하지 않고 별도의 가방에 보관하기 때문입니다.
데이터 세트 중 하나가 작은 경우 "replicated join"이라는 조인 옵션을 사용할 수 있습니다. 이렇게하면 두 번째 데이터 세트가 모든 맵 작업에 분산되어 메인 메모리에로드됩니다. 이렇게하면 매퍼에서 전체 조인을 수행 할 수 있으며 감속기가 필요하지 않습니다. 내 경험상 조인과 코 그룹의 병목 현상은 전체 데이터 집합을 감속기로 이동하기 때문에 매우 유용합니다. 제 지식으로는 COGROUP으로는이 작업을 수행 할 수 없습니다.
관련 문제
- 1. 두 테이블을 결합하십시오.
- 2. AJAX와 Jquery 스크립트를 결합하십시오.
- 3. OUTER JOIN과 WHERE를 결합하십시오.
- 4. 이 MySQL 쿼리를 결합하십시오.
- 5. 사전에 함께 링크를 결합하십시오.
- 6. 정규 표현식을 결합하십시오
- 7. 문자열을 출력의 왼쪽에 결합하십시오.
- 8. ClickThrough와 SEO를 결합하십시오
- 9. xmlreader와 linq를 xml에 결합하십시오.
- 10. NotifyIcon 및 ToolTip을 결합하십시오.
- 11. 두 표현식을 결합하십시오.
- 12. jQuery 문을 결합하십시오
- 13. Python에서 enumerate + itertools.izip을 결합하십시오.
- 14. C - 배열을 결합하십시오.
- 15. 배포시 파이썬에서 javascript 파일을 결합하십시오.
- 16. 관련 테이블의 필드를 Map으로 결합하십시오.
- 17. 여러 JavaScript 파일을 하나로 결합하십시오.
- 18. INSERT INTO와 WITH/CTE를 결합하십시오.
- 19. SSL을 통해 델파이와 리모콘을 결합하십시오.
- 20. relative baseUri와 상대 경로를 결합하십시오.
- 21. 하나의 함수에 여러 함수를 결합하십시오.
- 22. SELECT 문을 결합하십시오. 필요한 도움을
- 23. Zend_db 접합 테이블에 쿼리를 결합하십시오.
- 24. 두 개의 정수 배열을 결합하십시오.
- 25. 이 두 쿼리를 하나로 결합하십시오
- 26. 두 xml 파일을 하나로 결합하십시오.
- 27. DVCS와 Visual Source Safe를 결합하십시오.
- 28. 3 개의 SQL 쿼리를 결합하십시오.
- 29. 개찰구에서 개찰구를 결합하십시오 : IAuthorizationStrategy 링크
- 30. SQL 테이블 3 개를 결합하십시오.
내부적으로 조인과 코그룹은 돼지에서 똑같습니다 (조인에서 진행되는 데카르트 조인은 없으며, 그 의미가 확실하지 않습니다). 사용한 키워드에 따라 최종 결과의 형식 만 변경됩니다. 조인 결과에 대해 "설명"을 시도하십시오 - 당신은 설명 계획에 COGROUP 연산자를 보게 될 것입니다. – SquareCog
Cartesian 제품이 의미하는 바는 외래 키에 일치하는 항목이 여러 개 있으면 더 많은 레코드를 얻을 수 있다는 것입니다. 예를 들어, 하나의 데이터 세트에 3x "abcde"가 있고 두 번째 데이터 세트에 4x "abcde"가 있으면 각 레코드 세트가 일치하기 때문에 12x 레코드를 출력합니다. 한편, COGROUP에서는 관계를 분리하여 유지합니다. –