프로그램에서 스파크 스트리밍 작업 지속 시간

Question

각 rdd 작업에 걸린 시간을 스파크 스트리밍 작업을 실행하는 프로그램에서 어떻게 얻습니까? 작업 RDD 각 microbatch에 대한 위의 코드에서

val streamrdd = KafkaUtils.createDirectStream[String, String, StringDecoder,StringDecoder](ssc, kafkaParams, topicsSet) 

val processrdd = streamrdd.map(some operations...).savetoxyz 

예를

에 대한 지도 저금 작업에 실행됩니다.

각 스트리밍 작업에 대한 시간표를 가져오고 싶습니다. 포트 4040 UI에서 작업을 볼 수 있지만 스파크 코드 자체에 들어가기를 원합니다.

제 질문에 명확하지 않은 경우 용서해주십시오.

Answer 1

Spark 앱에서 StreamingListener를 사용할 수 있습니다. 이 인터페이스는 배치 작업이 수행 한 전체 시간을 제공 할 수있는 onBatchComplete 메소드를 제공합니다.

context.addStreamingListener(new StatusListenerImpl());

StatusListenerImpl는 StreamingListener를 사용하여 구현해야 구현 클래스입니다. 리스너에서도 사용할 수있는 다른 방법이 있습니다.