RichPipe에서 값 가져 오기

Question

3 개의 필드가있는 RichPipe가 있습니다. name : String, time : Long 및 value : Int. 특정 이름, 시간 쌍에 대한 값을 가져와야합니다. 내가 어떻게 해? 나는 그것이 매우 비밀스럽고 이것을하는 어떤 예제도 찾을 수 없기 때문에 문서를 긁어서 알 수 없다.

Answer 1

글쎄 RichPipe은 키 - 값 저장소가 아니기 때문에 키 - 값 저장소로 사용하는 데 대한 문서가 없습니다. RichPipe은 파이프로 간주되어야하므로 데이터를 가져올 수 없습니다. 처음에는 한쪽 끝으로 들어 가지 않고 파이프를 횡단하여 중간을 찾았습니다. 또한 Scalding에서는 디스크에 결과를 기록해야하므로 (Hadoop 위에 구현되어 있기 때문에) 응용 프로그램에서 사용하기 위해 디스크에서 결과를 읽어야하기 때문에 Scalding에는 다소 고통 스럽습니다. 코드는 다음과 같습니다 :

myPipe.filter[String, Long](('name, 'time))(_ == (specificName, specificTime)) 
.write(Tsv("tmp/location")) 

그러면 작업을 실행하고 결과를 얻기 위해 데이터를 메모리로 다시 읽으려면 더 높은 수준의 코드가 필요합니다. 이 작업을 수행하는 데 필요한 모든 코드를 작성하는 대신 (매우 간단합니다.) 유스 케이스가 무엇인지, 무엇을하려고하는지에 대해 더 자세히 설명하지 않는 것이 좋습니다. 아마도지도 감소 도구로 문제를 해결할 수 있습니다 프로그래밍 모델.

또는 Spark을 사용하면 분산 데이터 세트를 트래버스해야하는 것과 동일한 문제가 발생하지만 디스크에 쓰기 및 다시 읽는 방법은 없습니다. 또한 Spark는 맞춤형 파티셔를 사용하여 동작과 유사한 키 - 값 저장소를 생성 할 수 있습니다. 그러나 어쨌든 순진하게 코드는 다음과 같습니다.

val theValueYouWant = 
    myRDD.filter { 
    case (`specificName`, `specificTime`, _) => true 
    case _ => false 
    } 
    .toArray.head._3