여러 redis 마스터 서버에서 큐 구현

Question

두 개의 EC2 가용성 영역에 두 개의 redis 마스터 서버를 사용하여 작업 대기열을 작성하려고합니다. 모든 LPUSH 작업은 두 AZ의 두 마스터 시스템 모두에 대해 응용 프로그램 계층에서 수행됩니다. 이상적으로는 GitHub's resque을 사용하지만 여러 AZ에서 복수 마스터의 does not seem to have any notion을 리졸브하는 것이 이상적입니다.

한 작업자 만 특정 작업을하고 있는지 확인해야합니다. 일부 근로자는 1A 1A에서 redis 기계와 1A로 통화하고 일부는 AZ 1B에서 1B로 통화 할 것입니다. 나는 1A의 작업자와 1B의 작업자가 서로 다른 redis 마스터로부터 동일한 작업을 제거하고 동시에 작업을 시도하는 시나리오를 피할 필요가 있습니다.

이 작업자 의사 코드에 내가 놓친 경쟁 조건이 있습니까? 당신이 본질적으로 무엇을하려고

job_id = master1.BRPOPLPUSH "queue", "working" 
m1lock = master1.SETNX "lock.#{job_id}" 
m2lock = master2.SETNX "lock.#{job_id}" 
completed = master1.ZSCORE "completed", job_id 

if completed 
    # must have been completed just now on other server, no-op 
    master1.LREM "working", 0, job_id 
    master1.del "lock.#{job_id}" 
    master2.del "lock.#{job_id}" 
elsif not m1lock or not m2lock 
    # other server is working on it? We will put back at the end of our queue 
    master1.LPUSH "queue", job_id 
    master1.LREM "working", 0, job_id 
    master1.del "lock.#{job_id}" if m1lock 
    master2.del "lock.#{job_id}" if m2lock 
else 
    # have a lock, it's not complete, so do work 
    do_work(job_id) 

    now = Time.now.to_i 
    master1.ZADD "completed", now, job_id 
    master2.ZADD "completed", now, job_id 

    master1.del "lock.#{job_id}" 
    master2.del "lock.#{job_id}" 

    master1.LREM "working", 0, job_id 
    master2.LREM "queue", 0, job_id # not strictly necessary b/c of "completed" 
end 

Answer 1

는 큐 또는 다른 아무것도, 레디 스를 지원하지 않습니다, 그리고 당신의 의사 코드는 경쟁 조건이 있는지, 마스터 - 마스터 복제입니다. 단지 일 :

m1lock = master1.SETNX "lock.#{job_id}" 
m2lock = master2.SETNX "lock.#{job_id}" 

당신이이 일을하는 동안 다른 작업자가 작업을 할 수 있으며,이 명 노동자에서 한 번에 작업을 의미합니다.redis가 패턴에 이상적이라고 생각하지 않습니다. 그런 식으로 작동 할 수있는 대기열 서버를 알지 못하지만 다시 그런 서버를 많이 모릅니다. 따라서 확신 할 수 있습니다.

하나의 마스터 만 작업을 한 번에 가져올 수 있도록 작업의로드를 조정하면 가능하지만 그 중 하나가 아닌 두 개의 큐가 본질적으로 있습니다.

Answer 2

AWS 환경에 이미 있다면 아마존의 SQS 서비스를 사용하지 않는 이유는 무엇입니까? 나는 과거와 함께 일해 왔으며 엉덩이에 약간의 고통이 있음을 깨달았지만 아마존에서 가장 성숙한 서비스이며이 시나리오를 위해 만들어진 목적입니다.