MongoDb 실시간으로 (또는 거의 실시간으로) 삽입 된 데이터 스트리밍

Question

다양한 스트리밍 소스에서 여러 JSON 문서를 가져 오는 MongoDB 컬렉션이 있습니다. 다른 말로하면 일련의 MongoDB 컬렉션에 계속해서 데이터를 삽입하는 여러 프로세스가 있습니다.

MongoDB에서 다운 스트림 응용 프로그램으로 데이터를 스트리밍하는 방법이 필요합니다.

App Stream1 --> 
App Stream2 -->  MONGODB  ---> Aggregated Stream 
App Stream3 --> 

또는이 : 그래서 개념이처럼 보이는 시스템을 원하는

App Stream1 -->     ---> MongoD Stream1 
App Stream2 -->  MONGODB  ---> MongoD Stream2 
App Stream3 -->     ---> MongoD Stream3 

어떻게 지속적으로 데이터베이스를/폴링 쿼리하지 않고 몽고에서 데이터를 스트리밍 할되는 문제?

확실한 질문에 대한 대답은 "래빗, 제로 또는 액티브 MQ와 같은 대기열에 메시지를 보내려면 해당 앱 스트리밍 프로세스를 변경하지 말고 Mongo 스트리밍 프로세스와 몽고에 즉시 보내야합니다":

이상적인 세계에서는

    MONGODB 
        /|\ 
        | 
App Stream1 -->  |   ---> MongoD Stream1 
App Stream2 --> SomeMQqueue ---> MongoD Stream2 
App Stream3 -->    ---> MongoD Stream3 

예 그것은 좋은 것입니다,하지만 우리는, 메시지는 먼저 저장되도록 중복을 피하고 몽고는 지속성과 중간에 앉아있다 ID를 모두 등이 생성되어 있는지 확인 몽고 필요 층.

그럼 GridFTP를 사용하지 않는 Mongo 컬렉션에서 다운 스트림 앱으로 어떻게 메시지를 스트리밍합니까? 기본적인 사고 방식은 새 문서를 폴링하고 수집 된 각 문서를 처리하는 타임 스탬프를 저장하는 SQL 테이블의 프로세스 플래그와 마찬가지로 데이터베이스에 저장된 JSON 문서에 다른 필드를 추가하여 업데이트합니다. 나는. 처리 된 문서에 대한 1 초마다 == null .... add processed = now() .... 문서를 업데이트합니다.

더 계산 방법이 더 효율적입니까?

FYI - 이들은 모두 Java 프로세스입니다.

건배! 당신이 덮인 모음 (또는 컬렉션)를 작성하는 경우

Answer 1

, 당신은 스트림에 새로운 데이터를 추진하기 위해 tailablecursor을 사용하거나이 밖으로 스트리밍 할 수있는 곳에서 메시지 큐에 있습니다. 그러나 이것은 제한되지 않은 콜렉션에서는 작동하지 않습니다.