얼마나 자주 cron을 실행하여 내 트위터 공개 일정을 잡으시겠습니까?

Question

트위터의 공개 타임 라인에 의존하는 웹 애플리케이션은 데이터를 얼마나 자주 수집합니까? 매분 수십만 개의 메시지가 있어야합니다. 맞습니까? 어떻게 모든 트윗을 놓치지 않고 수집 할 수 있습니까?

Answer 1

일부 서비스 (Friendfeed는 좋은 예입니다)는 Twitter Streaming API, 즉 'Firehose'에 대한 액세스 권한이 부여됩니다. 승인과 서면 합의가 필요합니다.

Answer 2

트위터 API는 속도 제한이 있습니다. 공개 타임 라인 (twitter.com/public_timeline)은 동일한 의미로 요금에 제한이 없지만 매 5 초마다 업데이트되므로 대부분의 트윗은 절대 나타나지 않습니다.

트위터의 전체 피드가 호출되면서 Firehose에 액세스 할 수있는 3 개 또는 4 개의 회사가 있다고 생각합니다. FriendFeed는이 중 하나입니다. 또 하나는 Gnip입니다. Gnip은 피드를 다른 회사에 재판매합니다. 이것은 아마도 전체 트위터 피드를 얻을 수있는 유일한 방법입니다. 여기

Answer 3

이동합니다

http://twitter.com/help/request_whitelisting

과 흰색으로 등록 된 계정을 얻을 수는 시간당 100 개 개의 요청이 충분하지 않은 경우 (시간당 20,000 수 있습니다).

@ceejayoz 일반적으로 verify_credentials 및 rate_limit_status와 같은 몇 가지 요청을 제외하고 100 GET은 100 개의 요청을 요청하지 않습니다.

Answer 4

publictimeline은 더 이상 데이터를 마이닝하기에 좋은 장소가 아닙니다. Twitter는 이제 Streaming APIs을 사용하여 미친 듯이 짹짹을 출력합니다. publictimeline과 가장 가까운 비교 방법은 spritzer 메서드이지만 작은 샘플 만 포함됩니다. spritzer 방법보다 모든 (또는 그 이상) 트윗을 수집해야하는 경우 모든 공개 트윗을 반환하는 firehose 피드와 같은 다른 Streaming API (HTTP 푸시) 피드에 액세스하려면 서면 계약서에 서명해야합니다.