sbt 콘솔에서 RDD를 만들 수 있습니까?

나는 SBT 콘솔에서 일하고 있어요 다음과 같은sbt 콘솔에서 RDD를 만들 수 있습니까?

scala> import org.apache.spark._ 
scala> val sc = new SparkContext("local", "shell") 
scala> import org.apache.spark.rdd._

내가 콘솔에 RDD[Myclass]을하고 싶습니다 가져 왔습니다. 그게 가능하니?

scala> case class MyClass(foobar: String, something: String)

내가 이것을하고 싶은 이유는 RDD를 가지고 놀고 테스트 할 수있는 샘플 데이터를 만드는 것입니다. textFile을 읽거나 HDFS 또는 S3에서 방대한 데이터를 읽는 것보다

2016-09-29 Anthony

이것은 스파크 셸입니다. "sbt console"이 아닙니다. –

예를 들어'parallelize '를 시도 했습니까? 'sc.parallelize (List MyClass ("a", "b"), MyClass ("c", "d")))'? –

@ cricket_007 build.sbt가있는 프로젝트가 있습니다. 이 프로젝트에서는'sbt console'을 실행하고이 쉘을 사용합니다. – Anthony

sc.parallelize을 사용하고 객체의 List을 사용할 수 있습니다.

2016-09-29 12:24:29

답변