apache-pig dse pig flatten usage

Question

돼지에 납작하게 사용해야합니까? 문서에서 이해할 수 없습니다. 표시된 오류 메시지와 문제점은 Pig에서 완전히 다릅니다. 그것은 평평하게하는 것이 수입 될 수 없지만 어딘가에 평평한 평평하게 일한다고 말한다.

Answer 1

데이터 파일의 identfier에 대해 group 명령을 사용할 때마다 식별자에 속한 모든 튜플을 가방에 나열하여 읽을 때가끔 성가신 경우가 있습니다. 그래서 그룹 조항 위에 flatten을 사용하면 출력 파일에 모든 튜플을 개별적으로 나열합니다. flatten을 사용하는 단점은 동일한 레코드의 dulplicacy입니다. 따라서 dulpicate를 제거하려면 여분의 코드를 작성해야합니다. 비 편평 코드의

예 : 평평 코드의

X = GROUP A BY f1; 

DUMP X; 

(1,{(1,2,3)}) 

(4,{(4,2,1),(4,3,3)}) 

(8,{(8,3,4)}) 

예 :

X = GROUP A BY f1; 

DUMP X; 

(1,2,3) 

(4,2,1) 

(4,3,3) 

(8,3,4)