Spark DataFrame의 조건부 결합

Question

DataFrame 두 개의 조건을 결합하려고합니다.

나는 두 dataframe A를 가지고와 B는

A는 B가 m_cd, c_cd 기록 열을 포함 ID, m_cd 및 c_cd 열을 포함

조건입니다 -

• m_cd가 null의 경우 다음과 같이 A의 c_cd를 B와 결합한다.
• m_cd가 0이 아니면 A의 m_cd와 B를 결합한다.

데이터 프레임의 withcolumn() 메소드에서 "when"및 "otherwise()"을 사용할 수 있으므로 데이터 프레임의 조인의 경우이를 수행 할 수있는 방법이 있습니다.

나는 이미 Union을 사용하여 이것을 수행했지만, 다른 옵션이 있는지 알고 싶습니다.

Answer 1

당신은 조인 조건에서 "때"/ "그렇지 않으면"을 사용할 수 있습니다 : 아직 불구하고, 노동 조합을 사용하는 것이 더 읽을 수 있습니다

case class Foo(m_cd: Option[Int], c_cd: Option[Int]) 
val dfA = spark.createDataset(Array(
    Foo(Some(1), Some(2)), 
    Foo(Some(2), Some(3)), 
    Foo(None: Option[Int], Some(4)) 
)) 


val dfB = spark.createDataset(Array(
    Foo(Some(1), Some(5)), 
    Foo(Some(2), Some(6)), 
    Foo(Some(10), Some(4)) 
)) 

val joinCondition = when($"a.m_cd".isNull, $"a.c_cd"===$"b.c_cd") 
    .otherwise($"a.m_cd"===$"b.m_cd") 

dfA.as('a).join(dfB.as('b), joinCondition).show 

.