Transform을 사용하여 Hive UDF로 Unix Bash 스크립트 또는 awk 스크립트를 사용하는 방법?

Question

나는 예를 들어, PFB 샘플 쿼리

"TRANSFORM"사용 하나 개 하이브 쿼리를 실행하려고했다 : -

SELECT TRANSFORM (*) 
    USING 'worker.py' as (sum) 
    FROM mysource_filetable 

위의 예에서

파이썬은 모든 열의 합 calaculation을 위해 UDF에 사용됩니다 .

저는 UDF로 파이썬이나 자바 코드를 사용하고 싶지 않습니다. 모든 컬럼의 합계를 취하기 위해 Bash 스크립트를 사용할 수있는 방법입니다.

Answer 1

물론 하이브 스트리밍 UDF 기능은 모든 스크립트 유형에서 사용할 수 있습니다. 실행 파일과 스크립트를 지정하십시오 (리소스가 추가 된 후). 따라서이 예에서는 코드가 다음과 같이 표시됩니다.

SELECT TRANSFORM (*) 
    USING 'sh worker.sh' as (sum) 
    FROM mysource_filetable 

스트리밍 UDF에 대한 다른 가이드 라인을 따르고 있는지 확인하십시오. stdin을 읽고 stdout을 통해 값을 전달하고 있습니다. 자세한 내용은 여기에서 확인할 수 있습니다. https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Transform