MapR을 사용하는 Apache kafka 클러스터 Spark streaming not working

Question

MapR Spark 스트리밍 (1.6.1)을 사용하여 Apache kafka 클러스터에 연결하는 동안 문제가 발생했습니다. 설정 세부 사항은 다음과 같습니다 :

스파크와 MapR 클러스터 1.6.1 (3 노드 클러스터) 아파치 카프카 클러스터 v0.8.1.1 (5 노드 클러스터) 우리는 '사용

•

•

spark-streaming-kafka '라이브러리를지도 v1.6.1-ampr-1605에서 다운로드 할 수 있습니다. 우리는 또한 apache spark (mapr spark가 아님)로 로컬 모드에서 실행하려고했는데, 이것은 매우 잘 작동합니다.

Exception in thread "main" org.apache.kafka.common.config.ConfigException: No bootstrap urls given in bootstrap.servers 
     at org.apache.kafka.clients.ClientUtils.parseAndValidateAddresses(ClientUtils.java:57) 
     at org.apache.kafka.clients.consumer.KafkaConsumer.initializeConsumer(KafkaConsumer.java:606) 
     at org.apache.kafka.clients.consumer.KafkaConsumer.partitionsFor(KafkaConsumer.java:1563) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1$$anonfun$1.apply(KafkaCluster.scala:54) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1$$anonfun$1.apply(KafkaCluster.scala:54) 
     at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251) 
     at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251) 
     at scala.collection.immutable.Set$Set1.foreach(Set.scala:74) 
     at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:251) 
     at scala.collection.AbstractTraversable.flatMap(Traversable.scala:105) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1.apply(KafkaCluster.scala:53) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1.apply(KafkaCluster.scala:52) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster.withConsumer(KafkaCluster.scala:164) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster.getPartitions(KafkaCluster.scala:52) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.getFromOffsets(KafkaUtils.scala:421) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.createDirectStream(KafkaUtils.scala:292) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.createDirectStream(KafkaUtils.scala:397) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils.createDirectStream(KafkaUtils.scala) 
     at com.cisco.it.log.KafkaDirectStreamin2.main(KafkaDirectStreamin2.java:111) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:742) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

PS :

다음은 오류의 스택 추적입니다 연결을 만드는 동안 우리가 "metadata.broker.list"을 통과하고 있습니다. 스파크 스트리밍 응용 프로그램이 ZK에 연결할 수 없으며 부트 스트랩 URL을 가져올 수 없습니다. 이것은 내 이해입니다. 아니면 map-r과 kafka jar의 올바른 버전이없는 문제 일 수 있습니다. 우리는 Map-r 쪽에서 항아리를 가져 갔지만 여전히 작동하지 않습니다.

우리는 apache spark를 사용하여 성공적으로 테스트 할 수 있지만 mapr에서 작동하지는 못합니다.

도움이 필요하십니까?

Answer 1

스택 트레이스에 org.apache.spark.streaming.kafka.v09에 대한 참조가있을 수 있습니다.이 태그는 Kafka 0.9에서 사용할 수 있고 Kafka 0.8.1.1에서 작동하지 않는 새로운 소비자 API를 사용하는 구현 일 수 있습니다. 아마도 MapR's spark-streaming-kafka_2.10에서 라이브러리 중 하나를 시도해야합니다.