0
Apache Kafka 주제를 구독하고 하이브 테이블에 주제 데이터를 스트리밍하는 방법은 무엇입니까?
카프카 주제가 실시간으로 업데이트됩니다.Apache Kafka 주제 및 스트림 데이터를 하이브 테이블에 등록하는 방법
A
답변
1
가장 좋은 방법은 Kafka Connect와 HDFS connector입니다. Here's a quickstart을 사용하는 방법을 보여줍니다.
-1
위에서 지정한 HDFS 커넥터를 사용하여 Kafka connect sink를 사용하고 특정 HDFS 위치에 대해 Hive를 사용하여 외부 테이블을 만들 수 있습니다.
+0
Confluent의 HDFS Connect에는 이미 Hive 통합이 있으므로 외부 테이블을 만들 필요가 없습니다. 또한 이렇게하면 파티션을 동적으로 업데이트하지 않습니다. –
관련 문제
- 1. Apache Kafka 용 데이터 스트림 생성기
- 2. Apache Flink에서 Kafka 헤더의 데이터를 읽는 방법
- 3. flink에서 kafka 주제 데이터에 액세스/읽기하는 방법?
- 4. Kafka 오프셋 Kafka 주제 및 로컬 데이터베이스에 대한 오프셋 관리
- 5. Apache Kafka : 프로듀서가 모든 데이터를 생성하지 않음
- 6. Distributed Kafka Connect 주제 구성
- 7. 사용자 변환을 위해 Kafka 스트림 사용하기
- 8. Apache Kafka Java 제작자 스칼라 소비자 누락 된 스트림
- 9. Siddhi 스트림 주제 거부
- 10. Apache Flink Kafka Itergration
- 11. Java의 Apache Kafka 소비자 프로그램
- 12. pentaho에서 하이브 테이블에 액세스하는 방법
- 13. Bluemix Kafka 스트림
- 14. 봄 구름 스트림 kafka
- 15. Apache Kafka 및 Strom Clojure 구현
- 16. Apache Kafka - 집계
- 17. akka 스트림 연결 kafka 및 akka http
- 18. 카프카 스트림 : 여러 주제 파티션을위한 다중 스트림 응용 프로그램
- 19. Apache HTTP 클라이언트로 WCF에 스트림 데이터를 게시합니다.
- 20. Apache Kafka : TimeoutException 및 그 다음 작동하지 않음
- 21. Apache Kafka 용 대화 형 관리 셸
- 22. 카프카 스트림 0.9.1.0-cp1에서 개별 주제 소비량 제어 비율은?
- 23. kafka-node 라이브러리를 사용하여 kafka 서버에서 주제 목록을 얻으려면 어떻게해야합니까?
- 24. HDFS에서 조회 데이터가있는 Kafka 스트림
- 25. EMR에서 Spark를 사용하여 하이브 Metastore에 S3 마루 파일을 등록하는 방법
- 26. Windows에서 Apache kafka 실행
- 27. Apache Kafka 프로듀서 'request.timeout.ms'속성
- 28. Apache Kafka-Zookeeper Properties
- 29. 선택기가있는 Apache Kafka 클라이언트?
- 30. Apache Kafka 여러 그룹
제목에 대한 자세한 내용을 추가하고 본문을 수정하십시오. –