Nifi GetEventHub가 데이터에 노드 수를 곱하고 있습니다.

Question

하늘색 Eventhub에서 GetAzureEventhub 프로세서를 사용하여 데이터를 가져 오는 흐름이 있습니다. 내가 얻는 데이터는 클러스터에있는 노드 수에 의해 곱해지고 있으며, 노드가 4 개 있습니다. 기본 노드에서 실행되도록 프로세서에 지시하면 데이터가 4 번 복제되지 않습니다.

각 소비자 그룹의 eventhub는 최대 5 명의 독자를 허용하며, 나는 this article에서 이것을 읽습니다. 각 독자는 자체적 인 별도의 오프셋을 가지며 동일한 데이터를 소비합니다. 그래서 연설에서 같은 데이터를 4 번 읽는 중.

나는 두 개의 질문이 있습니다. 어떻게이 동일한 노드를 통과하기 위해이 4 개의 노드를 조정할 수 있습니까? 이것이 가능하지 않은 경우, nifi가 노드 중 하나만 읽을 수 있음을 어떻게 나타낼 수 있습니까?

설명해 주셔서 감사합니다. 요청 해 주셔서 감사합니다.

Answer 1

GetAzureEventHub는 현재 노드에서 조정을 수행하지 않으므로 중복을 피하기 위해 기본 노드에서만 실행해야합니다.

프로세서는 클러스터의 노드에서 조정을 수행하고 각 노드에 고유 한 파티션을 할당하고 장애를 처리해야합니다 (즉, 파티션 1을 사용하는 노드가 다운 된 경우 다른 노드가 파티션 1을 인계 받아야 함).

Azure 클라이언트가이 조정을 어떻게 든 제공한다면 (카프카 클라이언트와 유사) Niif 측에서는 더 적은 작업이 필요할 것이지만 Azure가 익숙하지 않아 이런 식으로 제공되는지 알 수 없습니다.