spark DataFrame 열의 데이터 형식을 프로그래밍 방식으로 유효성을 검사하려면 어떻게해야합니까?

Question

형식 캐스팅을 수행하는 함수에 대해 IntelliJ에서 단위 테스트를 만들었습니다. 그래서 내 단위 테스트에, 나는 다음과 같은 assert 문을 사용하여 유효성을 검사 할 :

assert(testDF.select(col1).dataType == Integer) 

그래서 위의 어설 션 문은 단위 테스트가 성공합니다 만족합니다.

아무도 도와 드릴 수 있습니까? 당신은 예를 들어, 패턴 매칭 사용할 수 있습니다

Answer 1

: 다른 속성을 일치 시키려면

import org.apache.spark.sql.types.IntegerType 

assert(testDF.schema(col1).dataType match { 
    case IntegerType => true 
    case _ => false 
}) 

을

import org.apache.spark.sql.types.StructField 

assert(testDF.schema(col1) match { 
    case StructField(_, IntegerType, nullable, _) => true 
    case _ => false 
})