PySpark DataFrames에서 __setitem__이 (가) 완전히 구현되지 않은 이유는 무엇입니까?

Question

PySpark에서는 기존 팬더 또는 R 스타일 표기법을 사용하여 DataFrame의 이전 열을 기반으로 새 열을 만들 수 없습니다. PySpark하지 않는 이유가 거기에

TypeError: 'DataFrame' object does not support item assignment 

대신,이 작업을 수행 할 수있는 구현 방법은

df = df.withColumn('newcol', F.concat(df['col_1'], df['col_2'])) 

입니다 :

이

import pyspark.sql.functions as F 
df['newcol'] = F.concat(df['col_1'], df['col_2']) 

결과는 예를 들어, 나는 두 개의 열을 연결하려고 말 전통적인 DataFrame 표기법을 구현합니까?

Answer 1

이 방법과 여러 반례 (SparkR API)를 구현하는 데는 여러 가지 이유가 있지만 근본적인 이유는 구현 순도라고 주장 할 것입니다.

R 또는 Pandas 데이터 프레임과 달리 Spark DataFrame은 변경 불가능한 데이터 구조입니다. 모든 스키마 변경은 전혀 새로운 DataFrame을 생성하므로 다른 방법으로 제안 할만한 모든 조작은 오도 된 것일 수 있습니다.

은 이론적으로 하나의 JVM DataFrame에 대한 참조를 대체하여 __setitem__을 구현 멀리 얻을 수 있지만, 당신이 DataFrame의 신원이 거의 확실한 _jdf에 의한 것을 고려한다면이 매우 unpythonic 것이다.