Python을 사용하여 동적 HTML 컨텐트의 값을 검색하는 방법

Question

저는 Python 3을 사용하고 있으며 웹 사이트에서 데이터를 검색하려고합니다. 그러나,이 데이터를 동적으로로드하고, 내가 지금 가지고있는 코드는 작동하지 않습니다 나는 특정 값을 찾기 위해 노력하고있어

url = eveCentralBaseURL + str(mineral) 
print("URL : %s" % url); 

response = request.urlopen(url) 
data = str(response.read(10000)) 

data = data.replace("\\n", "\n") 
print(data) 

, 나는 예 : "{{formatPrice의 중간 값 대신 템플릿을 찾는거야 }} "대신"4.48 "을 사용하십시오.

자리 표시 자 텍스트 대신 값을 검색 할 수 있도록하려면 어떻게해야합니까?

편집 : This은 정보를 추출하려고하는 특정 페이지입니다. 템플릿 {{formatPrice median}}을 사용하는 "중간 값"을 얻으려고합니다.

편집 2 : Selenium과 BeautifulSoup를 사용하도록 프로그램을 설치하고 설정했습니다.

내가 지금 가지고있는 코드는 다음과 같습니다

from bs4 import BeautifulSoup 
from selenium import webdriver 

#... 

driver = webdriver.Firefox() 
driver.get(url) 

html = driver.page_source 
soup = BeautifulSoup(html) 

print "Finding..." 

for tag in soup.find_all('formatPrice median'): 
    print tag.text 

Here 그것을 실행됩니다으로 프로그램의 스크린 샷이다. 불행히도 "formatPrice median"을 지정하지 않은 것 같습니다.

Answer 1

당신이 (handlebars 같은 인스턴스 뭔가) 자바 스크립트 템플릿을 사용하여 렌더링 된 페이지에서 값을 얻으려고 노력하는 가정은, 다음이 당신은 표준 용액 (즉 beautifulsoup 또는 requests)의로 얻을 것입니다.

브라우저가받은 내용을 변경하고 새 DOM 요소를 만드는 데 자바 스크립트를 사용하기 때문입니다. urllib은 브라우저와 같은 요청 부분을 수행하지만 템플릿 렌더링 부분은 수행하지 않습니다. A good description of the issues can be found here.

1. 직접
2. 요청 SpiderMonkey을 처리하기 위해 오프라인 자바 스크립트 인터프리터를 사용하는 아약스 JSON을 구문 분석,
3. crowbar이 splinter

This answer가 제공하는 브라우저 자동화 도구를 사용하여이 문서에서는 세 가지 주요 솔루션에 대해 설명합니다 옵션 3에 대한 몇 가지 제안 (예 : selenium 또는 watir). 셀레늄을 사용하여 자동화 된 웹 테스트를 수행했으며 매우 편리합니다. 그것은 핸들 구동 사이트처럼 귀하의 의견에서

---

편집

가 보인다. 나는 셀레늄과 아름다운 수프를 권하고 싶다. This answer 유용 할 수 있습니다 좋은 코드 예제를 제공합니다

from bs4 import BeautifulSoup 
from selenium import webdriver 
driver = webdriver.Firefox() 
driver.get('http://eve-central.com/home/quicklook.html?typeid=34') 

html = driver.page_source 
soup = BeautifulSoup(html) 

# check out the docs for the kinds of things you can do with 'find_all' 
# this (untested) snippet should find tags with a specific class ID 
# see: http://www.crummy.com/software/BeautifulSoup/bs4/doc/#searching-by-css-class 
for tag in soup.find_all("a", class_="my_class"): 
    print tag.text 

기본적으로 셀레늄 브라우저에서 렌더링 된 HTML을 가져온 다음 당신은 page_source 속성에서 BeautifulSoup로를 사용하여 구문 분석 할 수 있습니다. 행운을 빌어 요 :)