파이썬에서 트위터 스트리밍 API 데이터를 효율적으로 처리합니다.

Question

현재 tweepy lib 및 python (2.7.3)을 사용하여 내 프로젝트 용으로 트위터 스트리밍 API를 사용하고 있습니다. 수신중인 데이터의 속도가 매우 빠릅니다. 속도를 늦출 수 있습니까? 나는 어딘가에서 트위터가 스트리밍을 너무 오랫동안 지연시키는 아이디어를 좋아하지 않는다는 것을 읽었다.

데이터를 가져 와서 5 분 동안 말하고 5 분 후에 데이터를 정렬해야합니다 (예 : 해시 태그의 단어 개수 등). 하지만 스트리밍 속도가 느려질 것이라고 생각합니다 (하나의 프로세스를 사용함).

그래서 처리 할 수있는 방법을 제안 해주세요. 멀티 스레드? 멀티 프로세싱?

Answer 1

멀티 스레드 방식을 사용할 수 있습니다.이 문제를 "생산자 - 소비자 문제"로 보겠습니다. http://en.wikipedia.org/wiki/Producer-consumer_problem 여기서 생산자는 5 분 동안 버퍼를 채우는 주 스레드가되고 다른 스레드가 버퍼를 소비합니다 어떤 식 으로든).