Github의 Apache Kafka

Question

Github (또는 다른 곳)에서 Apache Kafka (버전 0.8 권장)를 사용하는 데모 프로젝트가 있습니까? 우리는 장난감 프로젝트로 테스트 해왔다. 그러나 실제 세계에서 더 큰 프로젝트를 확인하고 싶습니다.

Answer 1

저는 꽤 가끔 카프카를 사용하고 있습니다. 내가 franz-kafka nodejs 클라이언트 pubsubhubbub 사양을 구현하는 데 사용하고 있습니다.

나도 카프카를 사용하는 프로젝트를 찾지 못했지만 나에게 당신이 가진 어떤 질문이라도 물어볼 수있다. 나는 대답하려고 노력할 것이다.
감사합니다.

Answer 2

장난감 프로젝트는 데모 프로젝트만큼 좋습니다. 자신의 간단한 제작자/소비자를 쓰는 것은 재미있을 것입니다. 자신 만의 데모 프로젝트를 만들 수 있습니다 (그렇게하면서 많은 것을 배우게됩니다). 방대한 양의 말 스트리밍 데이터가 필요한 문제를 생각하십시오 (실행중인 응용 프로그램의 로그를 생각하십시오). 이제 Kafka가 로그를 읽도록하십시오. 카프카는 메시지 대기열에 불과합니다. 소비자를 쓰지 않는 한, 나는 재미있을 것이라고 생각하지 않습니다. 그래서 실제 소비자 픽업을 위해 트위터 스톰. Storm Consumer (Aka Kafka Spout)가 해당 라인을 집어 Bolt (Spout/Bolt는 Map Reduce와 비슷하지만 실시간으로 Storm 용어 임)로 보내는 브로커에게 애플리케이션의 모든 로그 라인을 보냅니다.

이렇게하면 완전한 데모 애플리케이션으로 사용할 수 있습니다.

이제 주요 질문입니다. Kafka에 피드를 생성하는 로그를 생성하는 방법 (응용 프로그램이없는 경우 데모 프로젝트 용) 사용 가능한 거대한 데이터 세트가 많이 있습니다 (오픈 소스). Youtube에서 Amazon, Twitter에 이르기까지 모두 제공합니다. 그냥 다운로드하고 일부 응용 프로그램을 생각하십시오. 예를 들어 Youtube 비디오 로그 (http://netsg.cs.sfu.ca/youtubedata/)를 생각해보십시오. 그들이 온라인 상태 인 것처럼 시뮬레이션하십시오. 그들을 카프카에 입력하십시오. Storm Consumer (또는 Kafka Spout)가 Kafka 중개인으로부터 로그 라인을 선택하도록하십시오. 볼트의 각 라인에 Bolt를 입력하면 볼트가 단지 라인을 읽고 (일부 분석), 마지막 X 분 동안 시청 한 비디오의 가장 인기있는/트렌드 장르를 계산합니다.

이 모든 것을 작성하는 데 시간이 오래 걸리지 않아야합니다. 즐겨!

Answer 3

시도해 볼 수 있습니다. https://github.com/wurstmeister/storm-kafka-0.8-plus 은 0.8 빌드

을 사용합니다.