4
저는 Kafka에서 데이터를 스트리밍하는 Spark에서 단어 수를 예로 실행하려고합니다. Source Code Here. 그러나 Cloudera Spark 배포본은 인큐베이터와 조금 다릅니다. 스파크 셸을 실행하는 데 문제가 없으며 거기에서 단어 개수 예제를 실행합니다. 그러나 bin 폴더에는 "run-example"스크립트가 없으며 예제 소스 코드에 나와 있습니다. 당신은 모든 종속성 및 코드를 패키지로 컴파일하고 jar 파일에 넣어 필요"run-example"스크립트가없는 Spark Kafka wordcount.java 예제를 실행하십시오.
* Example:
* `./bin/run-example org.apache.spark.streaming.examples.JavaKafkaWordCount local[2] zoo01,zoo02,
* zoo03 my-consumer-group topic1,topic2 1`
나는 항아리 상당히 새로운 오전하지만 난 명령 줄에서 자바 프로그램을 실행, 알고있다. jar 파일을 전체적으로 실행하면 "run-example"코드가 수행 할 것입니다.
실행 예제 스크립트없이 KafkaWordCount.java 예제를 어떻게 실행할 수 있습니까?
비슷한 question 여기에 있지만 매번 spark-shell에서 Java 코드를 실행하고 싶지 않습니다.
감사합니다.
하둡 : 나는 클라우 데라 매니저가 관리하는 클라우 데라 하둡 배포 (CDH 4.6.0-1.cdh4.6.0.p0.26)를 가지고
스파크 : 나는 (SPARK 0.9을 다운로드 한 .0-1.cdh4.6.0.p0.50) 소포 및 또한이 서비스를 배포하고 활성화합니다.
카프카 : kafka-0.8.0, 나는 소스를 다운로드하고 소스에서 그것을 bulit.