2017-11-13 2 views
0

데이터 마이닝 시스템을 연구 중이며 요구 사항 중 하나는 API를 사용하지 않고 분석을 수행 할 수 있다는 것입니다. Twitter 데이터베이스 (또는 그 중 큰 부분)를 다운로드하여 로컬로 사용할 수 있습니까?Twitter corpus를 다운로드 중입니다.

답변

0

API는 Twitter 데이터를 가져 오는 공식적인 방법이며 실제로 작동하므로 API를 사용하지 않는 이유를 이해할 수 없습니다. 웹 스크래핑은 권장 사항이 아닌 작업이지만 큰 부분을 차지하려고하므로 만족스럽지 않을 것입니다. Gnip에서 데이터를 구입할 수도 있습니다.

+0

이미 프로젝트 용 Twitter API를 사용했지만 완벽하게 작동하지만 클라이언트는 API를 사용하지 않기로 지정했습니다. 그들은 대신에 데이터를 지역적으로 분석하려고합니다. 이 문제에 대해 다른 방법 (또는 다운로드 할 수있는 다른 데이터베이스)이 있다고 생각하십니까? –

0

지저귐에서 코퍼라이터를 만드는 방법에 대한 논문이 있습니다. “TWORPUS – An Easy-to-Use Tool for the Creation of Tailored Twitter Corpora”이라고합니다. 라이센스 문제 등을 다루기 때문에이 책을 읽는 것이 좋습니다. 또한 Github에 코드를 제공합니다.

사실, 트위터 데이터 덤프를 직접 다운로드 할 수 없습니다. 싱글 트윗을 다운로드하여 코퍼스에 저장할 수 있습니다. 그러나이 데이터를 공유하는 것도 허용되지 않습니다. 따라서 저자는 Tworpus 클라이언트를 구축하여 개인 트위터 코퍼를 만들었습니다.

관련 문제