PySpark에서 분해하십시오

Question

단어 목록이 들어있는 DataFrame에서 각 단어가 자체 행에있는 DataFrame으로 변환하고 싶습니다.

DataFrame에서 열을 어떻게 폭발합니까?

다음은 각 코드 줄의 주석 처리를 제거하고 다음 주석에 나열된 오류를 얻을 수있는 예제입니다. 파이크 2.7에서 스파크 1.6.1을 사용한다.

from pyspark.sql.functions import split, explode 
DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat',)], ['word']) 
print 'Dataset:' 
DF.show() 
print '\n\n Trying to do explode: \n' 
DFsplit_explode = (
DF 
.select(split(DF['word'], ' ')) 
# .select(explode(DF['word'])) # AnalysisException: u"cannot resolve 'explode(word)' due to data type mismatch: input to function explode should be array or map type, not StringType;" 
# .map(explode) # AttributeError: 'PipelinedRDD' object has no attribute 'show' 
# .explode() # AttributeError: 'DataFrame' object has no attribute 'explode' 
).show() 

# Trying without split 
print '\n\n Only explode: \n' 

DFsplit_explode = (
DF 
.select(explode(DF['word'])) # AnalysisException: u"cannot resolve 'explode(word)' due to data type mismatch: input to function explode should be array or map type, not StringType;" 
).show() 

Answer 1

explode 및 split는 SQL 함수입니다 조언을 주시기 바랍니다. 둘 다 SQL Column에서 작동합니다. split은 Java 정규 표현식을 두 번째 인수로 취합니다. 당신이 임의의 공백에 대한 데이터를 분리 할 경우이 같은 뭔가가 필요합니다

df = sqlContext.createDataFrame(
    [('cat \n\n elephant rat \n rat cat',)], ['word'] 
) 

df.select(explode(split(col("word"), "\s+")).alias("word")).show() 

## +--------+ 
## | word| 
## +--------+ 
## |  cat| 
## |elephant| 
## |  rat| 
## |  rat| 
## |  cat| 
## +--------+ 

Answer 2

가 where 절을 추가, 공백에 분할도 빈 줄을 제거하려면.

DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat\nmat\n',)], ['word']) 

>>> (DF.select(explode(split(DF.word, "\s")).alias("word")) 
     .where('word != ""') 
     .show()) 

+--------+ 
| word| 
+--------+ 
|  cat| 
|elephant| 
|  rat| 
|  rat| 
|  cat| 
|  mat| 
+--------+