Kafka Streaming with apache spark

Question

로컬 컴퓨터에 apache kafka를 설치하고 정상적으로 작동합니다. 메시지를 제작자에게 게시하면 소비자 프롬프트에 바로 표시됩니다.

내 로컬 폴더에서 연속 파일 스트림을 구성 할 수 있습니까? 어떻게해야합니까?

제작자를 구성하기 위해 Java 응용 프로그램을 작성할 수 있습니까?

Answer 1

나는 그것이 수행 될 수있는 두 가지 방법 만 알고 있습니다.

1) 카프카 프로듀서 및 카프카 소비자를 작성하십시오. 이러한 제작자와 소비자는 Java, C 및 Python과 같은 다른 언어로 구현 될 수도 있습니다. 메시지 생성자의 카프카의 API •

/소비자 • 간단한 자바 기반의 카프카 생산자/소비자

2

) 자바에서 데이터 생성기 코드 또는 당신이 선호하는 언어를 작성하고 폴더에 데이터 파일을 저장하고 Kafka Broker에 데이터를로드 할 Kafka In 빌드/API 명령을 포함 할 쉘 스크립트를 작성하고 필요할 때 사용할 수 있습니다.

다음은 쉘 스크립트의 예입니다.

##################################################################### 
############################# COMPLETE SCRIPT ##################### 
### HEADER - PROGRAM NAME - <Kafkaload.sh> 

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 4 --topic topicname 

for i in $(seq 60) 
do 
echo $i 
DATE=$(date +"%Y-%m-%d %H-%M-%S") 
echo $DATE 
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicname < /home/bhavesh/Fireclickdata$i.txt 
done 

echo done 

이 예는이 도움말 희망

카프카

내 데이터 생성기 코드에 의해 생성 된 모든 내 파일을로드합니다 !!! ... 내 로컬 폴더에서 "연속 파일 스트림을 무엇