django/celery : 150k 장고 개체에서 작업을 실행하는 모범 사례?

Question

약 150k 장고 개체에서 작업을 실행해야합니다. 이 작업을 수행하는 가장 좋은 방법은 무엇입니까? 브로커로 Django ORM을 사용하고 있습니다. 데이터베이스 백엔드는 MySQL이고 초크이며 모든 작업의 ​​task.delay() 중에 종료됩니다. 관련하여 양식 제출에서이 문제를 해결하고 싶지만 결과로 응답 시간이 인 매우 응답 시간이 길어졌습니다.

Answer 1

나는 또한 "브로커"로 데이터베이스를 사용하는 이외의 사용을 고려한다. 그것은 정말로 이런 종류의 일에 적합하지 않습니다. 당신은 아마 처리 15000 프로세서를 가지고 있지 않기 때문에, 또한

from celery.task import TaskSet, task 

from myapp.models import MyModel 

@task 
def process_object(pk): 
    obj = MyModel.objects.get(pk) 
    # do something with obj 

@task 
def process_lots_of_items(ids_to_process): 
    return TaskSet(process_object.subtask((id,)) 
         for id in ids_to_process).apply_async() 

:

비록, 당신은 다른 작업을 생성하는 작업을 실행하여 요청/응답주기에서 이러한 오버 헤드의 일부를 이동할 수 있습니다 병렬 이러한 개체 의 모든, 당신은 덩어리의 개체를 분할 수 있다고 말한다 100의 1000의 :

from itertools import islice 
from celery.task import TaskSet, task 
from myapp.models import MyModel 

def chunks(it, n): 
    for first in it: 
     yield [first] + list(islice(it, n - 1)) 

@task 
def process_chunk(pks): 
    objs = MyModel.objects.filter(pk__in=pks) 
    for obj in objs: 
     # do something with obj 

@task 
def process_lots_of_items(ids_to_process): 
    return TaskSet(process_chunk.subtask((chunk,)) 
         for chunk in chunks(iter(ids_to_process), 
              1000)).apply_async() 

Answer 2

대신 RabbitMQ를 사용해보세요.

RabbitMQ는 많은 훌륭한 회사에서 사용되고 있으며, 사람들은 정말 위대한 중개인이므로 실제로 그것에 의존합니다.

Here is a great tutorial on how to get you started with it.

Answer 3

나는 엔진으로 beanstalkd (http://kr.github.com/beanstalkd/)를 사용합니다. django-beanstalkd를 사용하면 장고와 작업을 추가하는 것이 매우 간단합니다. https://github.com/jonasvp/django-beanstalkd/

이것은 내 용도에 대해 매우 신뢰할 만하다. 노동자의

예 :

import os 
import time 

from django_beanstalkd import beanstalk_job 


@beanstalk_job 
def background_counting(arg): 
    """ 
    Do some incredibly useful counting to the value of arg 
    """ 
    value = int(arg) 
    pid = os.getpid() 
    print "[%s] Counting from 1 to %d." % (pid, value) 
    for i in range(1, value+1): 
     print '[%s] %d' % (pid, i) 
     time.sleep(1) 

일/직원/작업을 시작하려면 :

from django_beanstalkd import BeanstalkClient 
client = BeanstalkClient() 

client.call('beanstalk_example.background_counting', '5') 

가 즐겨 (장고 - beanstalkd의 예를 들어 응용 프로그램에서 추출 소스)!