2014-01-15 1 views
0

텍스트 파일의 데이터를 hbase의 데이터와 결합하려고했지만 실패했습니다.Hadoop 돼지 Hbase에서 데이터와 결합

다음은 내가 사용한 데이터입니다.

  1. C (XXX1,06820,7) (XXX2,07442,9)
  2. G1 (XXX1,53) (XXX2,54)
  3. G2 (XXX1,53) (XXX1,53)

G1은 텍스트 파일에서로드되고 G2는 HBase에서로드됩니다.

  • G1 {SN :이 ByteArray, 나라 chararray}
  • G2 {SN :이 ByteArray, 나라 chararray}
  • J1 = SN
  • J2에서 SN에 의한 C, G1 가입 = 가입 sn에 의한 C, sn에 의한 G2.

덤프 J1에서 결과를 얻을 수 있지만 J2에 대해서는 아무 것도없고 로그가 있습니다.

Successfully read records from: "/opt/inputdata/ips1" 
Successfully read records from: "hbase://geoinfo1" 

Output(s): 
Successfully stored records in: "file:/tmp/temp410352744/tmp-403556508" -- EMPTY FILE 

Successfully read 616 records (11473 bytes) from: "/opt/inputdata/ips1" 
Successfully read 1354204 records from: "hbase://geoinfo" 

Output(s): 
Successfully stored 0 records in: "hdfs://master:9000/user/hadoop/jjj" --- EMPTY FILE 

내 솔루션에 문제가 있습니까? hbase에서 데이터를로드하고 텍스트 파일의 데이터와 조인하려면 어떻게해야합니까?

미리 감사드립니다. // :

G1 HBase를 = LOAD ':

답변

0

난 당신이 그런 HBaseStorage로 저장하는 돼지 스크립트

하라는 메시지가 꿀꿀 쉘에서 다음 돼지 스크립트를 사용 HBase를에 데이터를로드 한 있으리라 믿고있어 geoinfo1 'USING org.apache.pig.backend.hadoop.hbase.HBaseStorage ('column_family_name : * ', -loadKey true -gt 10000') (sn : chararray, country : chararray);

+0

나는 원인을 얻었습니다. 나는 타입 정보를 놓쳤다. AS (sn, chararray, country : chararray)를 AS로 변경 한 후 (sn : chararray, country : chararray); 잘 됐네. 고마워. – Allen

관련 문제