트위터 데이터 스크랩 정보

-1

트위터에서 팔로어를 추출하는 방법은 무엇입니까? 예를 들어, 트럼프의 추종자 목록을 추출하려면 BeautifulSoup을 사용하여이를 수행하는 방법을 알고 싶습니까?트위터 데이터 스크랩 정보

나는 twitter.I에서 Finn Balor의 추종자 목록을 추출하려고 시도했다. URL을 가져 와서 BeeautifulSoup 개체를 적용했다. 그러나 "보기 페이지 원본"에있는 문서를 제공하지 않는다. 어떻게 해결할 수 있을까요?

import requests 
from bs4 import BeautifulSoup 
r=requests.get("https://twitter.com/FinnBalor/followers") 
c=r.content 
soup=BeautifulSoup(c,"html.parser") 
soup.find_all("div",{"class":"ProfileCard-content"})

이것은 내가 사용한 코드입니다.

출처

2017-10-10 Akhil Reddy

[최소, 완전하고 검증 가능한 예] (https://stackoverflow.com/help/mcve) – bhansa

몇 가지 코드를 제공해 주시겠습니까? – kvorobiev

내가 사용한 코드를 추가했습니다. 코딩의 마지막 라인이 작동하지 않습니다. –

트위터 제공 REST APIs 서비스와 상호 작용할 수 있습니다.

휠을 다시 발명하지 않고도 사용할 수있는 Python 기반 클라이언트가 많이 있습니다.

내가 좋아하는 사람은 Tweepy입니다. Tweepy는 당신이 지저귐 데이터를 얻기 위해 따라 할 수있는 훌륭한 문서를 가지고 있습니다.

출처

2017-10-10 06:15:05 amrit

이렇게하려면 BeautifulSoup을 사용하여 근근이 살아요. –

그렇습니다.하지만 나머지 API가 제공된다면 왜 긁기를 사용하고 싶습니까? 그렇지만 여전히 원할 경우이 작업을 수행 할 수 있지만 트위터에서 데이터를 가져 와서 인증을 받아야 인증이 완료 될 수 있습니다 Scrapy 프레임 워크를 사용하거나 BeautifulSoup와 함께 Selenium을 사용할 수 있습니다. – amrit

. 나는 지금 이해했다. 정말 고맙다. –

트위터 데이터 스크랩 정보

답변

관련 문제