카프카 소비자 대 아파치 플 링크

Question

나는 스파크 스트리밍을 사용하여 카프카 (Kafka)에서 데이터를 읽는 작업을 수행했다. 그러나 우리 조직은 Apache Flink 또는 Kafka 소비자를 사용하여 Apache kafka의 데이터를 표준 프로세스로 읽습니다. 따라서 Kafka 스트리밍을 Kafka 소비자 또는 Apache Flink로 대체해야합니다. 내 응용 프로그램의 경우에는 kafka에서 데이터를 읽고 json 데이터를 필터링하고 cassandra에 필드를 넣어야하므로 Kafka를 사용하여 처리 할 필요가 없으므로 Flink/기타 스트리밍 대신 Kafka 소비자를 사용하는 것이 좋습니다. json 데이터. 그래서 질문 아래 이해하기 위해 여러분의 도움이 필요합니다 :

1. 우리가 불꽃 스트리밍 또는 FLINK의 경우처럼 내가 읽은 같은 연속적인 데이터를 얻을 수 있습니다, 카프카 소비자를 사용하십니까?

2. 카프카 소비자는 kafka에서 데이터를 읽고, avce scehma를 사용하여 deserialize하고, 필드를 필터링하고 cassandra에 넣을 필요가 있다고 생각합니까?

3. 카프카 소비자 응용 프로그램은 kafka 소비자 API를 사용하여 만들 수 있습니다. 맞습니까?

4. 아파치 플 링크 대신 카프카 소비자를 사용한다면 어떤면이 있을까요?

Answer 1

첫째, 둘 다 자신의 작업에 대한 아파치 카프카의 메시지를 소비하는 내부 Kakfa 소비자 API (간단한 API 또는 높은 수준의 API를) 사용 Spark Streaming with Kafka을의이 Flinka Kafak Connector에서 살펴 보자, 그리고.

그래서, 질문에 대한 :

1) 예

2) 예. 당신이 불꽃을 사용하는 경우 Howeer, 당신은 우리가 마우스 오른쪽

4) 위에서 언급 한 바와 같이, FLINK는 또한 작업에 대한 카프카 소비자를 사용)을 효율적으로 Cassandara에

(3) 데이터를 저장하는 데 도움이 Spark Cassandra connector를 사용하여 고려할 수 있습니다. 또한 분산 스트림 및 배치 데이터 처리 기능을 통해 카프카에서 데이터를 소비 한 후 효율적으로 데이터를 처리 할 수 ​​있습니다. 귀하의 경우 Cassandra에 데이터를 저장하기 위해 yourselve가 코딩하는 대신 Flink Cassandra Connector을 사용할 수 있습니다.