파이프 라인 된 RDD를 pyspark의 Dataframe으로 변환하는 중 오류가 발생했습니다.

Question

아래의 파이프 라인 된 RDD를 데이터 프레임으로 변환하려고합니다. -

파이프 라인 RDD> user_rdd

['new_user1', 
'new_user2', 
'Onlyknows', 
'Icetea', 
'_coldcoffee_'] 

가 나는 아래의 오류가 무엇입니까

schema = StructType([StructField('Username', StringType(), True)]) 
user_df = sqlContext.createDataFrame(user_rdd,schema) 
mention_df.show(20) 

아래의 코드를 사용하여 변환하려고 :

ValueError: Unexpected tuple 'new_user1' with StructType 

내가 시도 toDF를 사용하여 () :

user_df=user_rdd.toDF() 

발생한 오류는이 시간 :

TypeError: Can not infer schema for type: <type 'str'> 

이 pyspark를 사용하여 dataframe이를 변환하는 방법이 있는지 알려주세요.

Answer 1

rdd는 기본적으로 1d 데이터 인 문자열 목록입니다. 데이터 프레임에는 2d 데이터가 필요합니다. 이 문제를 해결해야 튜플에 RDD의 각 요소를 변환 :

user_df = sqlContext.createDataFrame(user_rdd.map(lambda x: (x,)), schema) 
#            ^^^^^^^^^^^^^^^^^^^ 
user_df.show() 
+------------+ 
| Username| 
+------------+ 
| new_user1| 
| new_user2| 
| Onlyknows| 
|  Icetea| 
|_coldcoffee_| 
+------------+