pandas 데이터 프레임을 Spark 데이터 프레임으로 변환하는보다 효율적인 방법이 있습니까?

Question

나는 약 50 만 개의 행과 30000 개의 열을 가지고있는 팬더 데이터 프레임 data_pandas을 가지고 있습니다. 나는 이것이 스파크 dataframe data_spark에 있어야 할 내가 이것을 달성 : 나는 동일한 구성의 10 명 노동자와 함께 r3.8xlarge 드라이버 일하고

data_spark = sqlContext.createDataFrame(data_pandas) 

. 그러나 앞서 언급 한 작업은 영원히 소요되며 OOM 오류를 반환합니다. 시도 할 수있는 다른 방법이 있습니까?

원본 데이터가 HDF 형식이므로 Spark 데이터 프레임으로 직접 읽을 수 없습니다.

Answer 1

한 가지 방법은 판다 데이터 프레임의 데이터를 한 번에 일괄 적으로 읽는 것일 수 있습니다. 한 가지 방법은 아래 코드를 사용하여 20 개의 청크로 나누는 것입니다 (here과 here)

def unionAll(*dfs): 
    ' by @zero323 from here: http://stackoverflow.com/a/33744540/42346 ' 
    first, *rest = dfs # Python 3.x, for 2.x you'll have to unpack manually 
    return first.sql_ctx.createDataFrame(
     first.sql_ctx._sc.union([df.rdd for df in dfs]), 
     first.schema 
    ) 

df_list = [] 
for chunk in np.array_split(df1,20): 
    df_list.append(sqlContext.createDataFrame(chunk)) 

df_all = unionAll(df_list)