필터 스파크 블랙리스트 기준을 지정하는 다른 DataFrame을 기반으로하는 데이터 프레임

Question

largeDataFrame (여러 열 및 수십억 개의 행)과 smallDataFrame (단일 열 및 10,000 행)이 있습니다.

largeDataFrame의 some_identifier 열이 smallDataFrame의 행 중 하나와 일치 할 때마다 largeDataFrame에서 모든 행을 필터링하고 싶습니다.

some_idenfitier,first_name 
111,bob 
123,phil 
222,mary 
456,sue 

smallDataFrame

some_identifier 
123 
456 

desiredOutput

111,bob 
222,mary 

여기 내 추한 솔루션입니다

largeDataFrame :

다음은 예입니다.

val smallDataFrame2 = smallDataFrame.withColumn("is_bad", lit("bad_row")) 
val desiredOutput = largeDataFrame.join(broadcast(smallDataFrame2), Seq("some_identifier"), "left").filter($"is_bad".isNull).drop("is_bad") 

클리너 솔루션이 있습니까?

Answer 1

이 경우 leftanti 조인을 사용해야합니다.

왼쪽 반 결합은 반의 왼쪽 반과 반대입니다.

largeDataFrame 
    .join(smallDataFrame, Seq("some_identifier"),"leftanti") 
    .show 
// +---------------+----------+ 
// |some_identifier|first_name| 
// +---------------+----------+ 
// |   222|  mary| 
// |   111|  bob| 
// +---------------+----------+