파이썬 예제를 사용하여 웹 스크래핑

Question

누군가 코드 30,000을 Google에서 Recent News으로 가져와 파이썬을 사용하여 웹 사이트에 표시 할 수 있습니까?

나는 44 개의 비디오 튜토리얼을보고 기초적인 것을 배웠다.

import urllib2 
from BeautifulSoup import BeautifulSoup 
# or if your're using BeautifulSoup4: 
# from bs4 import BeautifulSoup 

soup = BeautifulSoup(urllib2.urlopen('http://www.timeanddate.com/worldclock/astronomy.html?n=78').read()) 

for row in soup('table', {'class' : 'spad'})[0].tbody('tr'): 
    tds = row('td') 
    print tds[0].string, tds[1].string 
    # will print date and sunrise 

하지만 나 같은 초보자는 코드의이 작품은 내가 위의 예를 해결하는 데 도움이 수있는 방법을 이해할 수 없다 :

예

이었다.

Answer 1

30 분마다 Google 뉴스에서 모든 주요 제목을 가져 와서 인쇄하는 간단한 예입니다. 웹 사이트에 표시하는 방법은 구현 방법에 따라 다릅니다. 예를 들어 MYSQL 데이터베이스에서 내용을 가져 오는 경우 새 제목을 다운로드 할 때마다이 스크립트를 사용하여 DB를 쉽게 업데이트 할 수 있습니다.

import mechanize 
import cookielib 
import lxml.html as lh 
import time 

br = mechanize.Browser() 
cj = cookielib.LWPCookieJar() 
br.set_cookiejar(cj) 
br.set_handle_equiv(True) 
br.set_handle_gzip(True) 
br.set_handle_redirect(True) 
br.set_handle_referer(True) 
br.set_handle_robots(False) 
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1) 
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')] 

while True: 
    r = br.open('https://news.google.com/') 
    html = r.read() 
    doc=lh.fromstring(html) 
    for i in doc.xpath('.//*[@class="esc-lead-article-title"]'): 
     print i.text_content() 
    time.sleep(1800) 

Answer 2

익숙하지 않은 가져 오기 문을 볼 때마다 빠른 Google 검색을하는 것이 좋습니다. 광산은

BeautifulSoup을 산출했습니다. 여기에서는 아름다운 수프라고하는 파이썬 라이브러리 설명서를 읽을 수 있습니다. 여기

UrlLib2

은 설명서를 참조 URL을

을 여는 데 사용되는 라이브러리이고 그것을 당신이이 작은 조각이 당신의 이점 :)에 사용할 수있는 단지 방법을 이해하는 데 도움이됩니다.