AWS 키네시스 커넥터 라이브러리

Question

AWS 키네시스 스트림으로 정보를 보내고 거기에서 AWS Redshift로 정보를 전송해야하는 실시간 스트리밍 응용 프로그램을 개발 중입니다. 내 독서 및 문서의 이해를 바탕으로, 다음은 Redshift에에 운동성 스트림에서 정보를 가져 오도록 할 수있는 옵션입니다

1. 운동성 스트림 -> 람다 함수 -> Redshift에
2. 운동성 스트림 -> 람다 함수 -> 운동성 파이어 호스 -> Redshift에
3. 운동성 스트림 -> 운동성 커넥터 도서관 -> 내가 적색 편이를 위해 스트림에서 정보를 이동하기위한 최선의 선택이 될하기 위해 운동성 커넥터 옵션을 찾을

Redshift에 (https://github.com/awslabs/amazon-kinesis-connectors). 그러나이 라이브러리를 어디에 배포해야하며 어떻게 실행되는지 이해할 수 없습니다. 이 작업은 람다 함수 또는 EC2 인스턴스의 Java 함수로 실행해야합니다. readme를 기반으로 나는 그 정보를 얻을 수 없습니다. 커넥터로 성공적으로 작업 한 사람이라면 통찰력을 매우 높이 평가할 것입니다.

Answer 1

키네시스 커넥터 라이브러리를 사용하는 경우 EC2 인스턴스에 배포하고 싶지만 커넥터 라이브러리가없는 람다 (Lambda) 기능을 사용하는 것이 훨씬 쉽고 빠릅니다. 일괄 처리, 인스턴스 호출 확장 및 재 시도를 처리합니다. Dead Letter Queues는 아마도 Lambda + Kinesis에게도 곧 제공 될 것입니다.

기본적으로 Lambda의 오류를 확장하고 처리하는 것이 훨씬 쉽습니다.