수신 된 스트림에서 스파크 스트리밍 인쇄

Question

달성하려고하는 것은 기본적으로 데이터 스트림을받을 때마다 "hello world" 인 쇄입니다. 그것은 안녕하세요 제가 인쇄하지 않을

처리 데이터가 없음을 수 있습니다

1. :

   나는 각 스트림에 나는 기능 foreachRDD를 호출 할 수 있습니다 때문이 아니라 그 날 도움이되지 않는다는 것을 알고있다 각 rdd에 나는 전체 스트림 (데이터 수신 여부에 관계없이)에서 hello를 인쇄하려고합니다.

기본적으로 프로그램이 데이터를 가져 오려고 할 때마다 (그리고 30 초마다 스파크 스트리밍 컨텍스트로 인해 그렇게 말합니다) 안녕하세요를 인쇄하고 싶습니다.

이 방법이 있습니까? 스파크 스트리밍을위한 onlisten 이벤트가 있습니까?

Answer 1

DStream에는 각 배치 간격 (귀하의 경우 30 초)이 내부적으로 여러 개의 파티션으로 나눠진 하나의 RDD 만 포함됩니다. 비어 있지 않은지 확인한 다음 안녕하세요. 안녕하세요.

// Create DStream from source 
dstream.foreachRDD { rdd => if (!rdd.isEmpty) println("hello world") }