urlopen (URL)와 전체 HTML 검색

내가 발견했습니다 <span>...</span> 섹션. 웹 드라이브를 사용하면 해당 섹션이 포함됩니다. 그러나 웹 드라이버가 오래 걸리는 것 같아서 코드가 좀 더 엉망이됩니다. webdriver를 사용하지 않고 HTML 문서 전체를 검색하는 방법이 있습니까?urlopen (URL)와 전체 HTML 검색

출처

2017-12-06 Mwspencer

이 도움이 될 것입니다 있는지, 유명한 요청 라이브러리를 사용할 수 있습니다 훨씬 간단하고 <span> 태그의 내용을 구문 분석 솔루션을 쉽게 읽을 수 :

출처

2017-12-07 08:30:42 DebanjanB

이것은 여전히 나에게 단지 ...을 준다. 속성을 추가하면 findAll 목록은 []입니다. wedDriver가 html의 모든 내용을 수집 할 수있는 유일한 방법 인 것 같습니다. 다른 메소드의 예를보고 싶다면 https://github.com/mws75/UserName_by_Tag/blob/master/HashTag_SE_Test.py – Mwspencer

Hello BananjanB, 사과드립니다. 지금까지 이것을 시험 할 시간이 있지만, 당신의 방법은 훌륭하게 작동합니다. 빠르고, 필요한 정보를 얻습니다. 나는 페이지의 더 많은 것을로드하는 방법을 알아 내지 못했기 때문에 이것이 나의 다음 단계이다. 그러나 내가 알아낼 수 있다면, 내 웹 스크래퍼는 셀레늄을 사용하는 것보다 훨씬 빠를 것입니다. 당신의 도움을 주셔서 감사합니다. – Mwspencer

당신은 아래의 코드가 여기에

import requests 
from bs4 import BeautifulSoup 

page = requests.get('https://www.google.com/') 
soup = BeautifulSoup(page.text, 'lxml') 

span = soup.find_all('span') 
print(span)

출처

2017-12-06 19:00:57 Satish

아직 받고 있습니다. .... 다른 방법을 시험해보십시오. 나는 코드를 여기에 게시했다 : https://github.com/mws75/UserName_by_Tag/blob/master/HashTag_SE_Test.py – Mwspencer

urlopen (URL)와 전체 HTML 검색

답변

관련 문제