OAuth 인증없이 트위터 짹짹 정보를 크롤링하는 방법?

Question

트위터를 크롤링하고 트윗을 분석하여 정보를 얻어야합니다. 나는 가장 좋은 방법은 검색 API를 사용하는 것이라고 생각했지만, 이제는 API가 OAuth 인증을 필요로하는 것 같습니다. 개발자로 등록하는 것이 유일한 방법일까요? 대안이 있습니까?

Answer 1

많은 잘못된 정보가 여기에 있습니다. 스크래핑을 스크리닝 할 필요가 없습니다. 앱을 등록 할 필요가 없습니다. Twitter에는 API 키가 없습니다. 검색 API에서 데이터를 읽는 데 권한을 사용할 필요가 없습니다. 나머지 API에는 OAuth가 필요하지만 검색은 필요하지 않습니다. 당신은 당신이 어떤에서 읽을 수있는 다시 JSON 데이터를 가져 http://search.twitter.com/search.json?q=pizza

: 피자를 검색 할 수 예를 들어 http://search.twitter.com/search.json?q=[keywords]

:

방금 ​​다음 URL에 대한 요청을 할 수있는 검색 API를 사용하려면 프로그램. PHP를 사용하는 경우 cURL을 사용하여 요청을 만들고 json_decode()를 사용하여 결과를 foreach() 루프에서 반복 할 수있는 객체로 변환 할 수 있습니다.

Answer 2

더러워 지지만 PHP DOM을 사용하면 Twitter의 홈페이지를 반복적으로 마킹 할 수 있습니다.

* twitters 검색 API가 복잡하지 않으므로 빠른 해킹을 기꺼이 사용하고 있습니다.

Answer 3

많은 양의 트윗을 분석하려면 Streaming API을 사용해야합니다. 이에 대한 액세스 권한을 등록해야합니다.

또한 등록 할 필요가없는 Search API을 사용할 수도 있습니다. 그러나 이것은 제한된 속도입니다.

Answer 4

Python 또는 cURL을 시도해 볼 수 있습니다.

Answer 5

트위터가 REST API v1.0을 마감 한 이래로 Adam Green의 (선택한) 답변이 더 이상 작동하지 않습니다.

당신은 피자를 쿼리 주어진 예를 호출하는 경우 :

http://search.twitter.com/search.json?q=pizza

하면 다음과 같은 오류 메시지가 : (JSON에서, 비록)

{"errors": 
    [{"message": "The Twitter REST API v1 is no longer active. 
     Please migrate to API v1.1. https://dev.twitter.com/docs/api/1.1/overview", 
    "code": 64} 
    ] 
} 

You can check the API 1.1 search spec here

1.0에서 1.1 로의 또 다른 변경 사항은 모든 1.1 API 호출이 검색을 포함하여 인증을 필요로한다는 것입니다 .