Truststore 및 Google Cloud Dataflow

Question

Google Cloud Dataflow에서 SSL 카프카 연결을 만들기 위해 트러스트 스토어를 사용해야합니다. 버킷에서 이것을 제공 할 수 있습니까? 아니면 이것을 "로컬 파일 시스템"에 저장할 수 있습니까?

Answer 1

KafkaIO.Read.withConsumerFactoryFn을 사용하여 Kafka 소비자를 생성하기 위해 호출 할 팩토리 기능을 제공 할 수 있습니다. 이 기능을 사용하면 좋아하는 것을 자유롭게 할 수 있습니다. GCS 버킷에서 트러스트 스토어 파일을 다운로드 할 수 있습니다 (로컬 디스크의 임시 파일에 저장하기 위해 GcsUtil을 사용하는 것이 좋습니다). AFAIK Kafka 자체는 로컬 디스크에서만이 파일을 지원합니다. 그런 다음 수동으로 KafkaConsumer을 만들고 파일을 가리 킵니다.