돼지의 특정 기준에 따라 중복 ID 제거

Question

날짜, ID, eventDate 형식의 데이터가 있습니다. 이제 ID는 중복 될 수 있습니다. 우리는 0 < = eventdate -date < = 6 인 행만 선택해야합니다. 하나의 id에 대해서만 하나의 행이 있어야합니다. 각 ID의 이벤트 날짜는 일정합니다.

날짜 기본적 걸쳐 일년에 네 주 연속

예 대답이 각각

01-03-2014, 33578, 01-03-2014 
08-03-2014, 57689, 10-03-2014 
15-03-2014, 67890, 21-03-2014 

하나 개의 행이 될 것

01-03-2014, 33578, 01-03-2014 
08-03-2014, 57689, 10-03-2014 
15-03-2014, 67890, 21-03-2014 
15-03-2014, 57689, 10-03-2014 
22-03-2014, 33578, 01-03-2014 
22-03-2014, 67890, 21-03-2014 
22-03-2014, 33578, 01-03-2104 
22-03-2014 67890, 21-03-2014 

처럼 돼지 읽기하고있는 데이터는 id는 위의 논리를 기반으로합니다.

Answer 1

각 ID에 대해 행이 하나만있는 경우 조건 0<=eventdate -date <=6 인 단순 필터를 사용하지 않는 이유는 무엇입니까?

편집 : 확실 해요 누군가는 '마법 UDF 기능'으로 더 잘 할 수 있지만 BuildIn 기능으로는 다음과 같이 수 : 하나 개의 행을 제공하여

a = load 'stack.txt' using PigStorage(',') as (date : chararray, id:chararray, eventdate:chararray); 
b = foreach a 
    { 
    date_yyyy = SUBSTRING(date,8,10); 
    date_mm = SUBSTRING(date,3,5); 
    date_dd = SUBSTRING(date,0,2); 
    eventdate_yyyy = SUBSTRING(TRIM(eventdate),8,10); 
    eventdate_mm = SUBSTRING(TRIM(eventdate),3,5); 
    eventdate_dd = SUBSTRING(TRIM(eventdate),0,2); 
    int_date = (int)(CONCAT(CONCAT(date_yyyy,date_mm),date_dd)); 
    int_eventdate = (int)(CONCAT(CONCAT(eventdate_yyyy,eventdate_mm),eventdate_dd)); 
    generate date, id, eventdate, CONCAT(CONCAT(eventdate_yyyy,eventdate_mm), eventdate_dd), int_eventdate - int_date as diff; 
    }; 
c = FILTER b by (diff >= 0 and diff <= 6); 

여전히 미해결 문제 각각의 이드는 (diff >= 0 and diff <= 6) 상태가되지 않습니다.
나는 곧 대답을 얻습니다. 중복 ID를 위해 어떤 행을 취해야합니까?