카프카 소비자 플링크가 작동하지 않습니다.

저는이 테스트를 위해 몇 가지 테스트를하고 있습니다. 그러나 Flink는 Kafka에서 작동하지 않으며 Spark은 완벽하게 작동합니다.카프카 소비자 플링크가 작동하지 않습니다.

의 코드는 매우 간단합니다 :

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment 

val properties = new Properties() 
properties.setProperty("bootstrap.servers", "localhost:9092") 
properties.setProperty("group.id", "myGroup") 
println("topic: "+args(0)) 
val stream = env.addSource(new FlinkKafkaConsumer09[String](args(0), new SimpleStringSchema(), properties)) 
stream.print 

env.execute()

내가 (소비자 [FLINK]와 생산자 [카프카 콘솔]에서) 같은 주제 카프카 0.9.0.0을 사용하지만, 나는 클러스터에 내 항아리를 보낼 때 아무 일도 발생하지 않습니다 : 그것은 일이 될 수있는 어떤

Cluster Flink

출처

2016-06-15 Adrian P

미리 채워진 카프카 주제 (독창적 인 Flink 및 Spark 입력)를 읽거나 Kafka에 데이터를 쓰거나 읽는 중입니까? –

Flink가 실행되는 동안 동시에 생산자를 통해 데이터를 보냅니다. –

FlinkKafkaConsumer082 커넥터를 사용하거나 zookeeper.connect 속성을 지정 했습니까? [link] (http://stackoverflow.com/questions/31446374)/can-anyone-share-a-flink-kafka-example-in-scala)? docs가 zookeeper.connect 속성이 FlinkKafkaConsumer09 커넥터에 필요하지 않다고 말하면서 좋은 실험 일 수 있습니다. 그렇다면 플린 크 작업은 계속 실행됩니까? 출력물을 어디에서 찾고 있습니까? – jagat

이 특별한 경우 (싱크에 연결된 소스) 웹 인터페이스는 보내거나받은 바이트/레코드를 절대로보고하지 않습니다. 가까운 장래에 다소 변화 할 것입니다.

job-/taskmanager 로그에 출력이 없는지 확인하십시오.

출처

2016-06-15 19:51:18

답변을 주셔서 감사 합니다만 콘솔에서는 아무 것도 발생하지 않습니다. –

이 경우에는'taskmanager * .out' 파일에 출력이 포함될 것입니다. Flink와 Spark 모두에서 카프카 주제에 결과를 쓰는 것이 더 쉽습니다. – aljoscha

로그에 다음이 있습니다 : - 소비자 (파티션 번호) 다음 항목을 읽을 것입니다 : wordCount3 (1) : 그리고 - JobManager 널 에서 분리 - 수신 된 작업 카프카 스트림 - becaus, 작업 카프카 스트림을 제출 할 수 없습니다. e JobManager에 연결되어 있지 않습니다. –

당신의 stream.print는 flink에서 콘솔에 출력되지 않습니다. flink0.9/logs/recentlog에 쓸 것입니다. 다른 방법으로 출력을 확인하기 위해 자신 만의 로거를 추가 할 수 있습니다.

출처

2016-10-01 15:37:06

카프카 소비자 플링크가 작동하지 않습니다.

답변

관련 문제