분산 클러스터를위한 최상의 작업 대기열 서비스

Question

비동기 작업 관리를위한 간단한 작업 대기열 유형 시스템이 필요합니다.

나는 beanstalkd와 gearman을 모두 보았다. 그러나이 두 가지 모두 클라이언트와 대기열 서버가 동일한 네트워크 상에 있다고 가정하므로 항상 신뢰할 수있는 네트워크가 있어야합니다.

전 세계 곳곳에있는 클라이언트와 서버를 지원하고 클러스터 간의 네트워크 연결이 일시적으로 손실되는 것을 관리 할 수 ​​있어야합니다.

이상적으로 이것은 주 큐 서버로 보내기를 시도하는 로컬 프록시에 작업을 게시하는 방식으로 작동합니다. 네트워크 연결이 없으면 나중에 다시 시도하지만 작업이 손실되거나 클라이언트가 지연되지는 않습니다.

어떤 권장 사항이 있습니까?

Answer 1

ActiveMQ를 사용해보십시오. 클라이언트 라이브러리 (메시지를 보내거나 사용하는 것과 관계없이)는 네트워크 중단, 서버 재부팅 등으로 자동으로 다시 연결될만큼 똑똑합니다. LAN의 경우와 VPN을 통해 연결된 일부 컴퓨터의 경우 잘 작동합니다. .NET 및 단일 ActiveMQ 브로커 인스턴스의 클라이언트 라이브러리로 Apache NMS를 사용합니다.

HTTP 지원 기능이 있지만 아직 시도하지 않았지만 다시 연결 지원 여부 등은 동일하지 않습니다.

"브로커 네트워크"라고하는 클러스터링 및로드 균형 조정을 위해 둘 이상의 브로커 (서버) 실행을 지원합니다. 중개인은 방화벽 뒤에 앉아있을 수도 있습니다. 여러 곳에서 많은 수의 제작자/소비자가있는 경우 선택 옵션이 될 수 있습니다.