UNIG의 결과를 단일 파일에 저장합니다.

Question

4 개의 결과를 생성하는 PIG 스크립트가 있습니다. 모든 파일을 단일 파일에 저장하고 싶습니다. UNION을 사용하려고 시도하지만 UNION을 사용할 때 part-m-00000, part-m-00001, part-m-00002, part-m-00003의 4 개의 파일이 생성됩니다. 단일 파일을 얻을 수 있습니까? 여기

는 위에서 언급 한 바와 같이 내가 네 파일을 얻을 AA 폴더 안에 돼지 스크립트

A = UNION Message_1,Message_2,Message_3,Message_4 into 'AA'; 

입니다. 그 안에 모든 항목이 포함 된 단일 파일을 가져올 수 없습니까?

Answer 1

돼지는 올바른 일을하고 있으며 데이터 세트를 결합합니다. 하나의 파일이 모두 Hadoop에있는 하나의 데이터 세트를 의미하는 것은 아닙니다 ... Hadoop에있는 하나의 데이터 세트는 대개 폴더입니다. 여기에서 감소를 실행할 필요가 없기 때문에, 그렇게하지 않을 것입니다.

돼지를 바보로 삼아지도를 실행하고 줄이기가 필요합니다. 나는 보통이 작업을 수행하는 방법은 다음과 같습니다 다음

set default_parallel 1 

... 
A = UNION Message_1,Message_2,Message_3,Message_4; 
B = GROUP A BY 1; -- group ALL of the records together 
C = FOREACH B GENERATE FLATTEN(A); 
... 

GROUP BY 함께 그룹의 모든 레코드, 다시 밖으로 나열 FLATTEN 폭발. (이것은 새로운으로 HDFS 밖으로 다시 작성 후 모든 텍스트을 연결하고,

$ hadoop fs -cat msg1.txt msg2.txt msg3.txt msg4.txt | hadoop fs -put - union.txt 

을 : 여기에서 주목해야 할

---

것은이 일을 크게 다르지되지 않는 것입니다 파일)

이것은 전혀 병렬 적이 지 않지만 모든 감속기를 통해 모든 데이터를 수집하지는 않습니다.

Answer 2

default_parallel 속성을 설정해 보셨습니까?

grunt> set default_parallel 1 
grunt> A = UNION Message_1,Message_2,Message_3,Message_4;