2014-01-08 2 views
1

RC 형식으로 분할 된 방식으로 데이터를 저장할 수있는 UDF가 있는지 궁금합니다. 나는 org.apache.pig.piggybank.storage.MultiStorage가 있다는 것을 압니다.하지만 압축 형식으로 만 작동합니다. 내 데이터를 RC 형식으로 저장하지만 MultiStorage가 제공하는 동일한 파티션 된 스토리지 구조를 사용하고 싶습니다.돼지를 RC 포맷으로 사용하여 파티션 된 데이터를 저장하는 방법은 무엇입니까?

감사합니다, imtiaz

답변

0

돼지 저금통 또는 다른 대안 중 하나를 사용할 수 이러한 솔루션이 없습니다. 나는 비슷한 문제에 직면했다. 하지만 다른 요구 사항으로 인해 구현을 포기했습니다. 유일하게 사용할 수있는 솔루션은 MultiStorage udf를 확장하여 RC 저장소 형식을 제공하는 것입니다.

트위터가 RC 파일 저장 장치를 오픈 소스로 제공합니다. 당신은 그것으로부터 도움을받을 수 있습니다. http://grepcode.com/file/repo1.maven.org/maven2/com.twitter.elephantbird/elephant-bird-rcfile/3.0.8/com/twitter/elephantbird/pig/store/RCFilePigStorage.java

관련 문제