스파크에서 RDD의 파일을 얻는 방법

Question

내가 JSON 파일과 스파크 RDD와 함께 연주하고 그 결과가 오는 곳에서 내가뿐만 아니라 소스 JSON 파일을 알고 싶어

val uisJson5 = sqlContext.read.json(
    sc.textFile("s3n://localtion/*") 
     .filter(line => 
     line.contains("\"xyz\":\"A\"") 
     && line.contains("\"id\":\"adasdfasdfasd\"") 
    )) 
uisJson5.show() 

아래처럼 뭔가를하고있는 중이 야

. 내가이 일을 할 수있는 방법이 있니?

편집 :

나는 당신이 flatMapValues와 함께 wholeTextFiles 찾고있는 코드

val uisJson1 = sc.textFile("s3n://localtion/*”) 
.filter(line => line.contains("\"xyz\":\"A\"") 
&& line.contains("\"id\":\"adasdfasdfasd\"")) 

uisJson1.collect().foreach(println) 

Answer 1

이하로 사용하여 할 수 있었다.

wholeTextFiles을 사용하면 여러 개의 작은 텍스트 파일이 들어있는 디렉토리를 읽고 파일 이름, 내용 쌍으로 각 파일을 반환 할 수 있습니다. 이것은 textFile과는 대조적으로 각 파일에서 한 줄에 하나의 레코드를 반환합니다.