스파크 테스트베이스를 사용하여 스파크 단위 테스트

Question

스파크 스칼라 코드의 단위 테스트를 작성하는 방법을 모색 중입니다. 나는 스파크 테스트 기반을 가로 질러 내가 오류를 얻을 몇 가지 표준 예제를 실행하려고에 온

import org.scalatest.FunSuite 
import com.holdenkarau.spark.testing.{SharedSparkContext} 

class AppTest extends FunSuite with SharedSparkContext { 
    test("test initializing spark context") { 
    val list = List(1, 2, 3, 4) 
    val rdd = sc.parallelize(list) 

    assert(rdd.count === list.length) 
    } 
} 

오류는 다음과 같다 :

Class 'AppTest' must either be declared abstract or implement abstract member 'withFixture(test:Any):Outcome' in 'org.scalatest.SuiteMixin' 

나는 같은과에 대한하게 IntelliJ IDEA를 사용하고 내 build.sbt는 다음과 같습니다.

name := "" 

version := "1.0" 

scalaVersion := "2.11.8" 

fork in Test := true 

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.0.0", 
    "org.apache.spark" %% "spark-mllib"    % "2.0.0", 
    "org.apache.spark" %% "spark-sql"    % "2.0.0", 
    "org.scalatest" %% "scalatest" % "1.9.1" % "test", 
    "com.holdenkarau" %% "spark-testing-base" % "0.7.2" % "test" 
) 

parallelExecution in Test := false 

이전에 단위 테스트를 해본 적이 없습니다. 이 문제에 대한 도움을 주시면 감사하겠습니다.

Answer 1

스파크 테스트베이스를 사용하지 않는 것이 좋습니다. SparkContext의 내장 기능을 사용하여 실행중인 유닛 테스트 프로세스에서 시작할 수 있습니다.

예 :

import org.scalatest.FunSuite 

class AppTest extends FunSuite { 
    test("test initializing spark context") { 
    val myLocalInProcessSession = SparkSession 
            .builder 
            .master("local[*]") //This is the key config change to make it a local in process spark session. 
            .appName("myApp") 
            .getOrCreate() 
    val list = List(1, 2, 3, 4) 
    val rdd = myLocalInProcessSession.sparkContext.parallelize(list) 

    assert(rdd.count === list.length) 
    myLocalInProcessSession.close() 
    } 
} 

당신은 FunSuite의 도구를 사용하여 로컬 스파크 테스트 세션의 생성을 일반화 할 수 있습니다.