돼지 0.11의 컴파일 속도가 느립니까?

Question

누구든지 돼지 0.11에서 스크립트를 실행하는 것이 느린다고 느낍니까? 돼지 0.11과 돼지 0.8 같은 환경에서 스크립트를 실행했습니다. 돼지 0.8은 항상 빠릅니다.

댓글?

Answer 1

LOAD 문 USING PigStorage()이 (가) 많은 파일과 일치 할 수 있습니까? Pig 0.11의 PigStorage()은 기본적으로 일치하는 파일에 대한 HDFS의 스키마 파일을 검사합니다. 이렇게하면 많은 파일을 읽는 중 속도가 느려질 수 있습니다.

x = LOAD '...' USING PigStorage('...','-noschema')을 사용하십시오. -noschema을 사용하면 스키마 파일을 찾는 것을 피할 수 있으며 속도는 다시 높아야합니다.

자세한 정보 here.