아파치 돼지 : 나는 두 개의 데이터가 하나의

Question

두 데이터 세트를 추가

첫번째 집합

(111)

(222)

(555)

2 설정 세트 B

(333)

,

(444)

(666)

제가 UNION C = A, B 않았다;

개의 데이터를 추가 한 후에는 출력

예상 출력 C 세트 첫번째 데이터 세트하고 다음 제 2 데이터된다

(111)

(222)

(555)

이어야 설정

(333)

(444)

(666)하지만 내 출력 C는

(333)

(444)

(666)

(111)

(222)

(555)

결과가 비 순번 인 경우 설정 순서대로 추가하기가 어렵습니다. 어떻게하면됩니까? 나는 어떤 도움도 생각하지 못할 것이다.

Answer 1

는 file_number을주는 각 파일에 여분의 열을 추가하고 열 기부를 기반으로 정렬하여 다음, 수정 된 데이터 세트의 조합을 'file_number'

A = LOAD 'A.txt' USING PigStorage() AS (a:int); 
B = LOAD 'B.txt' USING PigStorage() AS (b:int); 
A_mod = FOREACH A GENERATE a, 1 AS file_number; 
B_mod = FOREACH A GENERATE b, 2 AS file_number; 
unified_mod = UNION A_mod, B_mod; 
output = SORT unified_mod BY file_number; 

Answer 2

고전적인 조합을 사용해 본 결과, 데이터는 순서대로 유지됩니다.

그러나의 강제-을하려고 나는 그것이 효율적이지의 이전 코멘트 말했다뿐만 아니라이

을 :)하지 않고이 일을하게하면 할 수 있습니다.

--In order to determine nbA you can run the following cmd in the shell : wc -l A.txt 
%default nbA 3 

A = LOAD 'A.txt' USING PigStorage() AS (a:int); 
B = LOAD 'B.txt' USING PigStorage() AS (b:int); 

A = RANK A; 
B = RANK B; 

--DESCRIBE B; 
B = FOREACH B GENERATE rank_B + $nbA, $1; 

C= UNION B,A; 
C= ORDER C BY $0; 
C= FOREACH C GENERATE $1; --If you want to drop the first column 
DUMP C; 

출력 :

(111) 
(222) 
(555) 
(333) 
(444) 
(666) 

:

A.TXT

111 
222 
555 

그리고 B.txt는 :

333 
444 
666