0
다음과 같은 데이터 집합이 있습니다.Apache Spark에서 열의 고유 한 요소 찾기
Id | 관심사
1 | 승마, 독서, 요리
2 | 승마, 달리기
3 |
요리, 여행이 가능
타기, 2
읽기, 1 개
요리, 2
실행, 1
여행, 1
다음과 같은 데이터 집합이 있습니다.Apache Spark에서 열의 고유 한 요소 찾기
Id | 관심사
1 | 승마, 독서, 요리
2 | 승마, 달리기
3 |
요리, 여행이 가능
타기, 2
읽기, 1 개
요리, 2
실행, 1
여행, 1
시도하십시오처럼 이익의 요약을 검색하는 것입니다 이하. 여기
val firstRDD = sc.textFile("/path_to_file/file.txt").map(line =>line.split("\\|")(1))
val resultRDD=firstRDD.flatMap(line => line.split(",")).map(word => (word,1)).reduceByKey(_+_)
resultRDD.collect
스칼라로부터의 출력은 셸
res23: Array[(String, Int)] = Array((reading,1), (cooking,2), (travelling,1), (running,1), (riding,2))