2017-04-04 1 views
0

현재 flink로 스트림 처리 도메인을 발견하고 있습니다. 그러나, 지금까지 읽은 전문 기사의 대부분은 flink와 kafka에 대해 이야기합니다. 그러나 나는이 듀오가 왜 그렇게 논리적으로 보이고 카프카가 플린크가 할 수없는 것과 그 반대인지 설명하는 분명한 설명을 찾지 못했습니다. , FLINK하지 PROCESS_CONTINUOUSLY readCsvFile와 카프카이 측면에서 지원할 수 있습니다 - - 카프카는 스트림 집계를 할 수 있지만 카프카에 비해 (확실하지 않은) 제한 것 같다 : 플 링크와 함께 kafka를 사용하는 이유

은 지금까지 나는 다음을 발견했다.

그래서 이러한 시스템으로 지금까지 가지고 있던 지식과 경험을 추가하십시오. 대단히 감사드립니다.

답변

1

첫눈에 차이가 분명하지 않다는 것은 사실입니다.

Apache Kafka는 실시간 정보를 처리하여 빠른 방법으로 소비자에게 전달하는 솔루션입니다. 즉, 메시지 브로커을 의미합니다.

아파치 플 링크는 스트림 처리 프레임 워크입니다. 여기에는 데이터 메모리 내 분산 컴퓨팅이 포함됩니다.

기본적으로 Kafka는 메시지 라우터 역할을하고 Apache Flink가 데이터를 처리합니다.

아래 예제 스키마에서 볼 수 있듯이 Kafka는 이기종 소스의 메시지를 게시 할 수 있으며 Apache Flink는 창 또는 축소 기능을 적용하여 이러한 데이터를 처리합니다. 당신은 카프카 문서에 보면

enter image description here

, 그들은 (원래 카프카의 일부가 아닌) 카프카 스트림이라고 카프카의 상단에 새로운 기능을 도입했다. 이것은 또한 Apache Flink처럼 데이터를 처리 할 수있는 스트림 처리 프레임 워크입니다.

관련 문제