카프카에서 많은 파일 읽기

Question

카프카에서 1 개의 로그 파일을 읽고 주제를 작성 중입니다. 이것은 성공적입니다. 이 파일을 읽으려면 config/connect-file-source.properties 파일을 Kafka Quickstart (http://kafka.apache.org/quickstart#quickstart_kafkaconnect)의 7 단계에 따라 편집하고 있습니다.

하지만 지금은 많은 파일을 읽고 싶습니다. 파일 설정에서/예를 들어, 나는 패턴 변수 파일을 편집 한 connect-file-source.properties : 파일 =은/etc/로그/아카이브 .LOG * 을 내가 모두 읽을 수 있기 때문에 디렉토리 로그의 파일은 아카이브 * .log입니다. 그러나이 선은 작동하지 않습니다.

config/connect-file-source.properties 파일을 사용하여 패턴이있는 파일 읽기를 구현하는 가장 좋은 형식은 무엇입니까? 사전에

감사

친절 감사

다리오 R

config/connect-file-source.properties에서

Answer 1

,

소스 클래스는 FileStreamSource이며 FileStreamSourceTask로 작업 클래스를 사용합니다.

FileInputStream을 사용하여 파일을 읽으므로 한 번에 여러 파일을 열 수 없습니다. (디렉토리 이름이나 정규식 패턴을 전달하여)

Source & SourceTask 클래스를 구현해야합니다.