스파크 - 스트림 차별화 카프카 항목

Question

내가 하나 개 이상의 항목과 같이 내 스파크 - 스트리밍 응용 프로그램을 공급하는 경우 :

나는 내 스트림에서 알아낼 수있는 방법을 내 응용 프로그램을 실행

val ssc = new StreamingContext(sc, Seconds(2)) 
    val topics = Set("raw_1", "raw_2) 
    val kafkaParams = Map("metadata.broker.list" -> "localhost:9092") 
    val stream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) 

무슨 차이가있는 주제 사이 그것은에서 당기고있다? 할 수있는 방법이 있습니까? 내가 뭔가를한다면

val lines = stream.print() 

나는 차별화가 없다. 카프카 메시지 키를 나타내는 요소로 만들 수있는 유일한 방법입니까?

Answer 1

예, MessageAndMetadata 버전 createDirectStream을 사용하면 메시지 메타 데이터에 액세스 할 수 있습니다.

예제 구현 here을 찾을 수 있습니다.