DataFrame, Apache Spark, Scala에 고유 ID 열을 추가하는 방법

다른 Dataframe과 결합한 다음 원본 행을 기준으로 그룹화하려고하지만 원래 행에는 고유 ID가없는 DataFrame이 있습니다. 고유 한 ID를 추가하거나 그 목표를 달성하려면 어떻게해야합니까?DataFrame, Apache Spark, Scala에 고유 ID 열을 추가하는 방법

출처

2017-03-17 qonf

당신이 열 세부 사항을 모두 샘플 dataframes을 추가하시기 바랍니다 수 monotonically_increasing_id 사용할 수 있습니까? –

당신은

import org.apache.spark.sql.functions._ 
val unique_df = original_df.withColumn("UniqueID", monotonically_increasing_id)

출처

2017-03-17 09:13:01 Tawkir

위와 같이 실행 해 보았습니다. 하지만 난 점점 : 아니 모듈 monotonically_increasing_id – user3245256

그 일을하기로되어 있습니다. 그 import 문을 사용 했습니까? 스파크 버전은 무엇입니까? – Tawkir

감사합니다. 나는 일하도록했다. 이 특별한 import 문은 나에게 효과가 없었다. 나는 그것을 다음과 같이 변경해야했다 : pyspark.sql.functions에서 import monotonically_increasing_id – user3245256

DataFrame, Apache Spark, Scala에 고유 ID 열을 추가하는 방법

답변

관련 문제