0
csv 파일에서 데이터를 가져 와서 HDFS로 가져와야합니다. 그런 다음 Hbase로 이동하고 데이터 마트 (sqlServer)로 데이터를 집계합니다. .Csv 파일에서 Datalake로 데이터를 가져 오는 자동화하는 가장 좋은 방법
나는 어떤 코딩 리틀
A
답변
1
필요 (자바를 사용하거나 도구를 hadoops)이 프로세스를 자동화 할 수있는 가장 좋은 방법을 알고 싶습니다? 특별한 순서없이
- Talend 오픈 스튜디오
- Streamsets 데이터 수집기
- 아파치 Nifi
에서 설치 당신에게 카프카 클러스터를 할 수 있습니다 가정하면, 카프카 연결
당신이 원하는 경우에 시도 할 수 있습니다 아마 스파크. 그렇지 않으면 좋아하는 언어를 선택하십시오. 당신은 원시 HDFS 데이터가 필요하지 않은 경우, 당신은 내가 다시 위의 의견을 반향 것 HBase를
1
에 직접로드 할 수 있습니다 Oozie
를 통해 작업을 예약합니다. Kafka Connect는 Apache Kafka의 일부입니다. 이것으로 구성 파일을 사용하여 소스에서 스트리밍하면 KSQL을 사용하여 파생/풍부/집계 된 스트림을 생성 한 다음 HDFS/Elastic/HBase/JDBC/etc 등에 스트리밍 할 수 있습니다.
목록이 있습니다. 카프카 연결 커넥터 here.
이 블로그 시리즈는 기본을 통해 안내 :
- https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/
- https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/
- https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/
+0
Thx Robin, 나는 kafka connctors에 관해 읽기 시작했으며 쉽고 저렴합니다. 나는이 부분을 짚어보고 무슨 일이 일어나는지 보게 될 것이다. Thx 다시 좋은 블로그 btw;) – rnside
관련 문제
- 1. CSV 파일에서 행 데이터를 가져 오는 방법
- 2. CSV 파일에서 데이터베이스로 데이터를 가져 오는 방법
- 3. 파일에서 CSV 데이터를 가져 오는 방법
- 4. CSV 파일에서 데이터를 가져 오는 방법
- 5. csv 파일에서 가장 좋은 방법으로 postgresql로 데이터를 가져 오시겠습니까?
- 6. 파일에서 장고 앱으로 데이터를 가져 오는 가장 좋은 방법
- 7. 데이터베이스에서 데이터를 가져 오는 가장 좋은 방법
- 8. 거대한 데이터를 가져 오는 가장 좋은 방법
- 9. 데이터를 가져 오는 가장 좋은 방법
- 10. 루비의 CSV 파일에서 헤더를 가져 오는 방법
- 11. PHP에서 DB 데이터를 내보내고 수정하고 가져 오는 가장 좋은 방법
- 12. 안드로이드에서 Mp3s에서 메타 데이터를 가져 오는 가장 좋은 방법
- 13. CSV 파일에서 MySQL 데이터베이스로 데이터를 가져 오는 방법
- 14. csv 파일에서 sqlite로 데이터를 가져 오는 방법 관리자 도구
- 15. Django - 메모리의 .csv 파일에서 가져 오는 방법
- 16. 일반 .txt 파일에서 스크롤보기로 텍스트를 가져 오는 가장 좋은 방법
- 17. 서버에서 안드로이드 전화로 데이터를 가져 오는 가장 좋은 방법
- 18. android에서 서버의 동적 데이터를 가져 오는 가장 좋은 방법
- 19. 주기적으로 서버에서 데이터를 가져 오는 가장 좋은 방법
- 20. 안드로이드에서 SQLite 데이터베이스에서 데이터를 가져 오는 가장 좋은 방법
- 21. Android 에뮬레이터를 사용하여 서버에서 데이터를 가져 오는 가장 좋은 방법
- 22. MySql에서 HDFS로 데이터를 가져 오는 가장 좋은 방법
- 23. Drupal 사이트에서 Android App으로 데이터를 가져 오는 가장 좋은 방법
- 24. Rails 3에서 Kendo UI로 데이터를 가져 오는 가장 좋은 방법
- 25. 텍스트 (char *)에서 데이터를 가져 오는 가장 좋은 방법
- 26. Android : 서버에서 데이터를 가져 오는 가장 좋은 방법 (위젯 + 애플리케이션)
- 27. 대량 데이터를 ArangoDB로 가져 오는 가장 좋은 방법
- 28. ViewModels의 크기를 가져 오는 가장 좋은 방법
- 29. 페이지에서 제품을 가져 오는 가장 좋은 방법
- 30. Mvvmcross - 업데이트를 가져 오는 가장 좋은 방법
들으 @의 cricket_007을 대답. "왜 당신이 hbase에 직접 갈 수없는 이유"로 무엇을 의미하는지 말해 주시겠습니까? – rnside
CSV를 구문 분석하고 Hbase 테이블에 쓰는 코드를 작성하십시오. hbase는 이미 hdfs 데이터를 통해 있으므로 hdfs에 넣고 Hbase에로드 할 필요가 없습니다. –
사실, 동일한 데이터가 필요하고 추출해야하는 다른 애플리케이션이있을 것입니다. hdfs에서 직접. 내 경우에만베이스가 필요합니다. – rnside