지도 배열

Question

I마다 3 개 요소의 배열을 매핑 할

을 줄이고, 출력이 많은이다 K, V] 쌍, 예를 들어

input: array(1,2,3,4,5,6,7,8,9,7,12,11) 
output: (1 => 2,3) (4 => 5,6)(7 => 8,9) (7 => 12,11) 

그리고 또한 키 이러한 쌍을 줄이고 자, 예를 들어 key = 7로 데이터를 수집하려면 출력은 (7=> 8,9,12,11).

고맙습니다.

Answer 1

난 당신이

지도 (4 것

val input = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 7, 12, 11) 
val output = input.toSeq.grouped(3) 
    .map(g => (g.head, g.tail)).toList 
    .groupBy(_._1) 
    .mapValues(l => l.flatMap(_._2)) 

결과 따르고 필요한 생각 -> 목록 (5, 6), (7) -> List (8, 9, 12, 11), 1 -> List (2, 3))

Answer 2

이 시도 :

res0 = list.grouped(3).map {x => (x(0), List(x(1),x(2)))}.toList 
// you must dump your converted data format into your storage eg hdfs. 
// And not the entire thing in the form of array. Transform in form of 
// (key,value) and dump in hdfs. That will save a lot of computation. 

res1 = sc.parallelize(res0) 
res2 = res1.reduceByKey(_++_).collect 

을하지만이 솔루션이 될 것입니다 얼마나 확장 성이 없습니다 확신합니다.

편집

val res1 = sc.parallelize(arr) 
// (1,2,3,4,5,6,7,8,9,7,12,11) 
val res2 = res1.zipWithIndex.map(x._2/3,List(x._1)) 
// (1,0),(2,1),...(12,10),(11,11) -> (0,1),(0,2),(0,3),(1,4),(1,5),(1,6) 
val res3 = res2.reduceByKey(_++_).map(_._2) 
//(0,List(1,2,3)),(1,List(4,5,6)) -> List(1,2,3),List(4,5,6) 
val res4 = res3.map(x => x match { 
    case x1::xs => (x1,xs) 
}).reduceByKey(_++_) 

//List(1,2,3) - > (1,List(2,3)) -> reduceByKey 
//(1,List(2,3)),(4,List(5,6)),(7,List(8,9,12,11))