돼지에서 고유 한 여러 열 결합

Question

열의 하위 집합에 DISTINCT 연산을 수행하고 싶습니다.

A = LOAD 'data' AS(a1,a2,a3,a4,a5,a6); 

DUMP A; 

(1, 2, 3, 4,5,5_1) 

(1, 2, 3, 4,5,5_1) 

(1, 2, 3, 4,6,6_1) 

(1 ,2, 4, 4,7,7_1) 

(1, 2, 4, 4,8,8_1) 

-- insert DISTINCT operation on a1,a2,a3,a4 here: 

-- ... 
DUMP A_unique; 

(1, 2, 3, 4,5,5_1) 

(1, 2, 4, 4,7,7_1) 

는 이미 링크 언급했다 :

How to perform a DISTINCT in Pig Latin on a subset of columns?

를 그리고 두 가지 방법으로 아래의 사용 :

방법 1 :

1.DATA = LOAD '/usr/local/Input.txt' AS (a1,a2,a3,a4,a5,a6);  
2.DATA2 = FOREACH DATA GENERATE TOTUPLE(a1,a2,a3,a4) AS combined, a5 as a5,a6 as a6; 
3.grouped_by_a5_a6 = GROUP DATA2 BY combined; 

4.grouped_and_distinct = FOREACH grouped_by_a5_a6 { 

      combined_unique =LIMIT DATA2 1; 

        GENERATE FLATTEN(combined_unique); 
}; 

,451,515,

방법 2 :

DATA = LOAD '/usr/local/Input.txt' AS (a1,a2,a3,a4,a5,a6) ;   
A2 = FOREACH DATA GENERATE TOTUPLE(a1,a2,a3,a4) AS combined, a5 as a5,a6 as a6 ; 

grouped_by_a5_a6 = GROUP A2 BY (a5,a6); 

grouped_and_distinct = FOREACH grouped_by_a5_a6 { 

     combined_unique = DISTINCT A2.combined; 

     GENERATE FLATTEN(combined_unique); 
}; 

하지만 무엇입니까 대답과 같은 :

(1, 2, 3, 4,5,5_1) 
(1, 2, 3, 4,6,6_1) 
(1, 2, 4, 4,7,7_1) 
(1, 2, 4, 4,8,8_1) 

대신 :

(1, 2, 3, 4,5,5_1) 
(1, 2, 4, 4,7,7_1) 

는 위에서 언급 한 코드에 문제가 있습니까?

Answer 1

예상되는 내용은 해당 입력란의 고유 한 결과가 아닙니다. 원하는 출력을 얻으려면 필터를 적용해야합니다.