아파치 카프카를 파일 감시 시스템으로 사용할 수 있습니까?

Question

원본 경로와 대상 경로가 HDFS에 있습니다 .UurStream은 원본 경로에 파일을 저장하고 복사 할 파일이 있다면 원본 경로에 추가 된 파일을 확인합니다. 목적지 경로에 대한 소스 경로.

지금은 쉘 스크립트를 사용하고 있습니다. 하지만 그 사이에 카프카를 사용하고 싶습니다. 내가 조사한 결과, HDFS 싱크 커넥터 만 발견되었습니다. HDFS 용 원본 커넥터는 없습니다.

내 질문은 여기에서 카프카를 어떻게 사용할 수 있습니까?

Answer 1

이 사용 사례의 경우 카프카가 필요하다고 생각하지 않습니다. 이 작업을 수행하는 여러 가지 방법이 있습니다, 하나의 방법, 예를 들어, 당신은 게터가 지켜 이벤트를 트리거 사육사 감시자 인터페이스를 사용하여 프로그래밍 방식으로 대체로서 프로그램

에서 하둡 사본을 해고 할 수 하둡 2.6 DFSInotifyEventInputStream 당신 도입 이것을 위해 사용할 수 있습니다. HdfsAdmin에서 인스턴스를 가져온 다음 .take() 또는 .poll()을 호출하여 모든 이벤트를 가져오고 조치를 취할 수있는 이벤트를 기반으로