spark에서 스칼라를 사용하여 데이터 변환

Question

입력 텍스트 파일을 키/값 RDD로 변환하려고하지만 아래 코드가 작동하지 않습니다 (텍스트 파일은 탭으로 구분 된 파일입니다). 스칼라와 스파크 그래서 당신의 도움에 정말 감사드립니다.

import org.apache.spark.{SparkConf, SparkContext} 
import scala.io.Source 

object shortTwitter { 

    def main(args: Array[String]): Unit = { 
    for (line <- Source.fromFile(args(1).txt).getLines()) { 
     val newLine = line.map(line => 
     val p = line.split("\t") 
     (p(0).toString, p(1).toInt) 
    ) 
} 

    val sparkConf = new SparkConf().setAppName("ShortTwitterAnalysis").setMaster("local[2]") 
    val sc = new SparkContext(sparkConf) 
    val text = sc.textFile(args(0)) 
    val counts = text.flatMap(line => line.split("\t")) 
    } 
} 

Answer 1

그래서, 당신은 결과 RDD이 유형 RDD[(String, Int)]을 갖고 싶어 있으리라 믿고있어 -

가

• 당신은 ((하나의 새로운 기록에 각 레코드를 변환) map하지 flatMap를 사용해야하는 당신은 튜플

로 split의 결과를 매핑해야

여러으로 각 레코드를 변환 기록) 전부

: 코멘트에 해명 당

val counts = text 
    .map(line => line.split("\t")) 
    .map(arr => (arr(0), arr(1).toInt)) 

편집 : 당신은 또한 (파일을 순차적으로 읽는) 비 스파크 부분을 고정에 관심이 있다면, 당신은 몇 가지 오류가있는-이해를위한 구문은 다음과 같습니다.

def main(args: Array[String]): Unit = { 
    // read the file without Spark (not necessary when using Spark): 
    val countsWithoutSpark: Iterator[(String, Int)] = for { 
    line <- Source.fromFile(args(1)).getLines() 
    } yield { 
    val p = line.split("\t") 
    (p(0), p(1).toInt) 
    } 

    // equivalent code using Spark: 
    val sparkConf = new SparkConf().setAppName("ShortTwitterAnalysis").setMaster("local[2]") 
    val sc = new SparkContext(sparkConf) 
    val counts: RDD[(String, Int)] = sc.textFile(args(0)) 
    .map(line => line.split("\t")) 
    .map(arr => (arr(0), arr(1).toInt)) 
}