필터와 감량의 차이는?

Question

필터() 및 스파크 RDD에() 방법을 줄일 차이는 무엇입니까? 다른 말로하면 필터()은 변형이고 reduce()은 행동입니까? 나에게 두 가지 모두 비슷한 것처럼 들린다. 필터가 좁거나 넓습니까?

Answer 1

필터는 로우 레벨에서만 작동하며 다른 (필터링 된) rdd를 반환하므로 좁습니다. Reduce는 실제로 전체 rdd에 대해 계산 된 단일 값을 반환합니다. 이 값을 리턴하려면 실제 계산이 수행되어야하는데, 이는 reduce가 조치 인 이유입니다.

일반적으로 실제 값을 리턴하거나 출력을 작성해야하는 rdd.functions는 조치이며 다른 rdd를 리턴하는 rdd.functions는 변환입니다.

동작이 필요할 때만 해당 동작으로 이어지는 rdd 변환이 발생합니다 (스파크의 게으름 속성)