Spark Dataframe 최대 열 수

Question

spark Dataframe의 최대 열 수는 얼마입니까? 나는 그것을 데이터 프레임 문서에서 얻으려고했지만 찾을 수가 없다.

Answer 1

아키텍처 관점에서 볼 때 확장 가능하므로 열 수에 제한이 없어야하지만 노드에 균등하지 않은 부하가 발생할 수 있습니다. &은 변환의 전체 성능에 영향을 미칠 수 있습니다.