아파치 돼지와 하둡 구현

Question

나는 돼지가 아파치 하둡 위에 만들어 졌다는 것을 알았다. 그러나 나는 돼지가 가지고있는 맨손의 hadoop 구현이 부족한 추가 기능을 찾을 수 없습니다. 돼지 라틴어와 같은 언어가 필요한 이유는 무엇입니까? Hadoop에는 무엇이 부족 했습니까?

Answer 1

위키에서 인용 :

돼지는이 플랫폼에 대한 Hadoop.The 언어가 돼지 라틴어라고 사용 맵리 듀스 프로그램을 생성하기위한 높은 수준의 플랫폼입니다. 돼지 라틴어 은 MapReduce 프로그래밍을 높은 수준으로 만드는 표기법으로 Java MapReduce 관용구 프로그래밍을 추상화합니다. 이는 RDBMS 시스템 용 SQL의 과 유사합니다. 돼지 라틴어는 사용자가 Java, Python 또는 JavaScript로 작성한 다음 UDF (사용자 정의 함수)를 사용하여 확장 한 다음 언어에서 직접 호출 할 수 있습니다.

이제 키워드는 위의 높은 수준의 및 초록 있습니다. 주요 프로그래밍 언어에 대한 지식없이 SQL을 작성하고 관리 할 수있는 DBA를 보유하고있는 방식으로, Pig를 사용하여 데이터 파이프 라인/창고를 생성/관리하는 방법은 복잡합니다. hadoop 작업으로 구현/실행됩니다. 질문에 답하기 위해 Pig는 부족한 기능 중 Hadoop을 보완하는 것이 아니지만 일을 더 빨리 (개발 시간) 수행하기 위해 최상위 프레임에 구축 된 상위 수준의 프레임 워크입니다.

돼지는 Hadoop에서하는 모든 작업을 할 수 있지만 돼지의 고급 기능을 시험해보고 그에 대한 쓰기 작업을 수행하면 시간이 많이 걸립니다. 따라서 매우 자유롭게 말하자면, 데이터 엔지니어링 전반에 걸쳐 일반적인/공통적 인 작업 중 일부는 돼지의 형태로 미리 구현되어 있습니다. 단지 Pig-Latin으로 실행시켜야합니다.