질문이 있습니다. Mapreduce Job을 사용하여 HiveQL 문을 구현하는 방법. 예를 들어 color, width 및 다른 컬럼들과 같은 컬럼 이름을 가진 테이블이있다. 하이브에서 색상을 선택하려면 tablename;에서 선택 색상을 지정할 수 있다고 가정합니다. 같은 방식으로 Mapreduce에서 색상을 가져 오는 코드는 무엇입니까?Mapreduce HiveQL 문을 구현하는 작업
Thrift 서버를 사용할 수 있습니다. JDBC를 통해 하이브에 연결할 수 있습니다. 클래스 패스에 hive-jdbc jar를 포함하면됩니다.
그러나이 방법을 사용 하시겠습니까? 글쎄, 나는 정말로 확신하지 못한다. 이것은 매퍼 (mapper)에서 no로 수행하는 경우 매우 나쁜 디자인 패턴입니다. 매퍼의 수는 데이터 크기에 따라 결정됩니다.
MR 작업으로의 다중 입력으로 동일한 작업을 수행 할 수 있습니다.
그러나 그렇다면 유스 케이스에 대해 많이 알지 못합니다. 그래서 절약은가는 길일 것입니다. 맵리 듀스 작업에 하이브 쿼리를 변환
는 ysmart는 최선의 선택을하다
http://ysmart.cse.ohio-state.edu/
어느 ysmart 다운로드 할 수 있습니다 또는 온라인 버전을 사용할 수 있습니다.
감사합니다 sachinjose :) – user3456850
MapReduce Design Patterns 책에서 companion codeChapter 5 - Join Patterns을 확인하십시오. 조인 패턴에서 필드는 매퍼에서 추출되어 방출됩니다.
감사합니다. Venkat. 나는 그것을 시도 할 것이다. – user3456850