Python으로 Chrome DOM 트리에 액세스

Question

Chrome DevTools를 사용하면 페이지의 DOM 트리를 볼 수 있습니다. 거기에 액세스하고 파이썬을 사용하여 해당 트리를 꺼내 방법이 있습니까?

Answer 1

내가 selenium.webdriver를 사용하고 발견하는 가장 좋은 방법 :

import selenium.webdriver as webdriver 
import lxml.html as lh 
import lxml.html.clean as clean 

browser = webdriver.Chrome() # Get local session of Chrome 
browser.get("http://www.webpage.com") # Load page 

content=browser.page_source 
cleaner=clean.Cleaner() 
content=cleaner.clean_html(content) 
doc=lh.fromstring(content) 

문서가 lxml.html.HtmlElement

Answer 2

BeautifulSoup 라이브러리를 사용해 보셨나요? 이 자습서의이 섹션은 귀하의 질문에 대한 답변을 줄 수 있습니다. http://www.crummy.com/software/BeautifulSoup/bs3/documentation.html#The 구문 분석 트리

그런 다음 요청 라이브러리도 가져와야합니다.

from BeautifulSoup import BeautifulSoup 
import requests 
url = 'http://www.crummy.com/software/BeautifulSoup/bs3/documentation.html' 
page = requests.get(url) 
soup = BeautifulSoup(page.content) 
print soup