Spark Scala scala.util.control.Exception지도에서 잡기 및 놓기 없음

Question

저는 Spark 앱을 스칼라로 작성 중이며 더러운 입력 파일을 처리하려고합니다.

// CSV file 
val raw_data = sc.textFile(...) 

val clean_data = raw_data.map(_.split(delimiter)) 
    .map(r => (r(0), r(1).toDouble) 

은 r (1)이 숫자가 아닐 때 NumberFormatException을 발생시킵니다. 이는 추한 입력 데이터의 적은 수의 행에서 발생합니다.

나는 마침내 내가 원하는 것을 달성하기 위해 추한 방법에 착륙 :이 두 가지 질문으로 나를 잎

import scala.util.control.Exception._ 

val clean_data = raw_data.map(_.split(delimiter)) 
    .map(r => (r(0), 
     catching(classOf[NumberFormatException]).opt(r(1).toDouble)) 
    .filter(r => r._2 != None) 
    .map(r => (r._1, r._2.get)) 

.

1) 잘못된 형식의 행을지도에 단순히 드롭하는 가장 좋은 방법은 무엇입니까?

2) None을 명시 적으로 필터링하지 않고 catch 옵션을 사용하여 생성 된 Option 유형을 처리 한 다음 non-None Option 값에 .get 함수를 매핑하고 적용하려면 어떻게해야합니까?

.flatMap (identity) 단계를 적용하여 Nones를 제거하려고 시도했지만 예상되는 : TraversableOnce [?] 예외가 발생했습니다.

Answer 1

스파크에서 collect(pf:PartialFunction)은 정확하게 그 목적으로 존재하는 스칼라 모음의 쌍동이입니다. 부분 기능에 정의 된 모음의 요소를 유지하십시오.

val rawData = sc.textFile(...) 

val cleanData = rawData.map(_.split(Delimiter)) 
      .collect{ case Array(x,y) if (Try(y.toDouble).isSuccess) (x,y.toDouble) } 

사용하는 flatMap 것 두 번 .toDouble을 평가하지 않는 또 다른 옵션 :

val cleanData = rawData.map(_.split(Delimiter)) 
         .flatMap(entry => Try(entry.toDouble).toOption) 

참고 : 스파크 데이터를 얻을 의미하는 매개 변수가 collect 방법이 있다는 약간의 혼란에서 RDD에서 운전자에게.