Zeppelin PySpark : 'JavaMember'객체에 'parseDataType'속성이 없습니다.

Question

이 간단한 PySpark 스 니펫은 정상적인 spark-submit으로 정상적으로 실행되지만 cast 호출시 Apache Zeppelin과 함께 실패합니다. 어떤 아이디어?

%pyspark 
import pyspark.sql.functions as spark_functions 

col1 = spark_functions.lit(None) 
print("type(col1)={}".format(type(col1))) 
col2 = col1.cast(StringType()) 

오류 :

Traceback (most recent call last): 
    File "/tmp/zeppelin_pyspark-6046223946582899049.py", line 252, in <module> 
    eval(compiledCode) 
    File "<string>", line 14, in <module> 
    File "/usr/lib/spark/python/pyspark/sql/column.py", line 334, in cast 
    jdt = ctx._ssql_ctx.parseDataType(dataType.json()) 
AttributeError: 'JavaMember' object has no attribute 'parseDataType' 

Answer 1

이 펠린 0.6.2에서 수정 될 대상 펠린 0.6.1에 스파크 2.0 알려진 버그 : https://issues.apache.org/jira/browse/ZEPPELIN-1411

은