MapR 스트림 소비자의 spark.kafka.poll.time

Question

직접적인 kafka API 소비자에서 MapR 스트림을 사용하고 "spark.kafka.poll.time"매개 변수를 설정하고 있습니다. 그러나, 나는이 매개 변수의 의미가 정확히 무엇인지 모른다.

Answer 1

MapR 문서는 MapR Streams (http://maprdocs.mapr.com/home/Spark/Spark_IntegrateMapRStreams_Consume.html)에 대한 소비자의 쿼리 간격 시간에 따른 것입니다. 대부분 Spaf Streaming을 사용하여 Kafka에 연결하는 경우에만 지정해야합니다. 폴 카피 소비자의 표준 Java Kafka Consumer에서는 밀리 초 단위로 간격을 지정해야하므로 둘 사이에 유추가있을 수 있습니다. 자바에 대한

: 불꽃 스트리밍을위한

ConsumerRecords<String, String> records = kafkaConsumer.poll(consumerPoolTime); 

지도 PARAMS 등 :

"spark.kafka.poll.time" -> "300", 
// other params 

KafkaUtils.createDirectStream[String, String](ssc, kafkaParams, topics)