Apache Pig에서 Numpy와 SciPy 사용

Question

Apache Pig에 UDF를 작성하고 싶습니다. 나는 파이썬 UDF를 사용할 것이다. 문제는 NumPy와 SciPy와 같은 패키지를 분석하고 필요로하는 수많은 데이터가 있다는 것입니다. 이것을 구입하면 자이 썬 지원이 없다. 돼지와 함께 사용할 수 없다.

대체품이 있습니까?

Answer 1

scipy를 가져 오는 (C) Python 스크립트를 통해 스트리밍 할 수 있습니다. 예를 들어 import scipy.cluster.hierarchy를 사용하여 가방 안의 데이터를 클러스터링하는 데 사용합니다.