카프카에 푸시 된 메시지를 깊은 저장소에 저장해야합니다. 우리는 Azure 클라우드 서비스를 사용하고 있으므로 Azure BLOB 저장소가 더 나은 옵션 일 수 있다고 가정합니다. 카프카 커넥트의 싱크 커넥터 API를 사용하여 Azure Blob에 데이터를 푸시합니다. Kafka 문서는 대부분 데이터를 내보내는 HDFS를 제안하지만,이 경우 Hadoop을 실행하는 Linux VM이 필요합니다. 비용이 많이 드는 것은 아닙니다. 제 질문은 Azure BLOB 저장소가 JSON 객체를 저장하고 사용자 정의 싱크 커넥터를 만드는 적절한 선택입니다.이 경우 합리적인 해결책입니까?Azure Blob 저장소 용 Kafka 커넥터
0
A
답변
2
맞춤 싱크 커넥터가 작동합니다. Kafka Connect는 커넥터를 플러그인 할 수 있도록 설계되었습니다. 사실 커넥터 개발은 전적으로 연합되어 있습니다. Confluent의 JDBC 및 HDFS 커넥터는 처음 두 가지 유스 케이스의 인기로 인해 처음 구현되었지만 더 많은 것들이 있습니다 (우리는 알고있는 커넥터 목록을 유지합니다).
Azure blob 스토리지가 적절한, 당신은 JSON 개체를 언급합니다. 내가 생각하는 유일한 것은 개체의 크기와 Azure 저장소의 크기가 & 크기의 객체를 처리 할 것인가이다. 나는 Azure 저장소의 특성에 대해 확신하지 못한다. 그러나 많은 경우 다른 객체 저장 시스템을 사용하면 많은 객체에 대해 좋은 성능을 얻기 위해 많은 객체를 단일 BLOB로 집계해야 할 수 있습니다 (예 : 많은 JSON 객체를 지원하는 파일 형식이 필요할 수 있습니다).
관련 문제
- 1. Azure blob 저장소 용 RetryPolicy 코드
- 2. Azure Blob 저장소 대안
- 3. Silverlight의 Azure Blob 저장소 브라우저
- 4. Azure Blob 용 JCloud
- 5. 웹 역할 가상 디렉터리로 Azure Blob 저장소?
- 6. 액세스 Azure Blob 로그인 한 사용자의 저장소
- 7. Azure Blob 저장소 역할 기반 액세스 제어
- 8. Azure Blob 저장소 업로드 오류 : (403) 금지됨
- 9. Azure Blob 저장소 대 파일 서비스
- 10. 파일 형식을 다운로드하려면 어떻게해야합니까? Azure BLOB 저장소
- 11. Azure Blob 저장소 (개발 연결 문제)
- 12. Azure 저장소 컨테이너에서 BLOB 수 얻기
- 13. Telerik ASP.NET RadEditor 및 Azure Blob 저장소?
- 14. HDInsight Azure Blob 저장소 데이터 업데이트
- 15. Azure Blob 저장소 : DownloadToStreamAsync 0kb 스트림 다운로드
- 16. Azure BLOB 저장소 : DownloadToByteArray VS DownloadToStream
- 17. Azure Blob 저장소 FileStreamResult Controller.File을 사용하여 천천히.
- 18. Azure Blob 저장소 검색이 작동하지 않습니다.
- 19. Azure Blob 저장소 사용 https가있는 REST API
- 20. 미디어 파일 용 Azure 저장소 사용
- 21. 푸른 blob 저장소 - 고유 한 blob 이름을 자동으로 생성합니다.
- 22. BLOB 저장소 구현하기
- 23. JavaScript로 Azure 저장소 용 SAS 만들기 (PhoneGap)
- 24. Azure Blob 다운로드 속도
- 25. 리눅스 용 Azure Blob 스토리지 (GUI) 클라이언트
- 26. Window Azure 용 Blob/Table을 사용하는 SessionStateProvider
- 27. BLOB/파일 저장소 용 .NET 웹 서비스/API
- 28. NameNode HA 모드의 클러스터가있는 Kafka HDFS 커넥터
- 29. VM에 드라이브로 BLOB 저장소 장착
- 30. 푸른 blob 저장소 업로드 실패
맞춤 싱크의 경우 생각 해보세요' 괜찮아. 현재 Azure Blob 저장을위한 공식 싱크가 없습니다. 다른 솔루션을 원한다면 Apache Flume (Kafka 소스 및 Azure Sink)을 사용해보십시오. 다음 링크를 참조하십시오. https://blogs.msdn.microsoft.com/bigdatasupport/2014/03/18/using-apache- flume-with-hdinsight / – NangSaigon