다운로드 한 이미지는 실제 이미지가 아닌 빈 이미지입니다.

Question

학습 목적으로 Buzzfeed 기사의 모든 게시물 이미지를 다운로드하려고합니다. 검색 무엇

import lxml.html 
import string 
import random 
import requests 

url ='http://www.buzzfeed.com/mjs538/messages-from-creationists-to-people-who-believe-in-evolutio?bftw' 
headers = headers = { 
     'User-Agent': 'Mozilla/5.0', 
     'From': 'admin@jhvisser.com' 
} 

page= requests.get(url) 

tree = lxml.html.fromstring(page.content) 

#print(soup.prettify()).encode('ascii', 'ignore') 

images = tree.cssselect("div.sub_buzz_content img") 

def id_generator(size=6, chars=string.ascii_uppercase + string.digits): 
    return ''.join(random.choice(chars) for x in range(size)) 

for image in images: 
    with open(id_generator() + '.jpg', 'wb') as handle: 
     request = requests.get(image.attrib['src'], headers=headers, stream=True) 

     for block in request.iter_content(1024): 
      if not block: 
       break 
      handle.write(block) 

크기 이미지를 모든 110 바이트, 그들을 보는 것은 단지 빈 이미지 :

여기 내 코드입니다. 문제의 원인이되는 코드에 문제가 있습니까? 더 쉬운 방법이 있다면 요청을 사용할 필요가 없습니다. 당신이 크롤링하려는 웹 페이지의 소스 코드를 자세히 보면

Answer 1

, 당신은 볼 그 이미지 URL의 당신이 img 태그의 src 속성에 지정된하지만 rel:bf_image_src 속성에없는합니다.

image.attrib['src']에서 image.attrib['rel:bf_image_src']으로 변경하면 문제가 해결됩니다.

코드를 복제하지 못했습니다 (cssselect이 설치되어 있지 않음). BeautifulSoup 및 urllib2 코드는 내 컴퓨터에서 부드럽게 실행되고 22 개의 그림을 모두 다운로드합니다.

from itertools import count 
from bs4 import BeautifulSoup 
import urllib2 
from time import sleep 


url ='http://www.buzzfeed.com/mjs538/messages-from-creationists-to-people-who-believe-in-evolutio?bftw' 
headers = { 
    'User-Agent': 'Non-commercical crawler, Steinar Lima. Contact: https://stackoverflow.com/questions/21616904/images-downloaded-are-blank-images-instead-of-actual-images' 
} 

r = urllib2.Request(url, headers=headers) 
soup = BeautifulSoup(urllib2.urlopen(r)) 
c = count() 

for div in soup.find_all('div', id='buzz_sub_buzz'): 
    for img in div.find_all('img'): 
     print img['rel:bf_image_src'] 
     with open('images/{}.jpg'.format(next(c)), 'wb') as img_out: 
      req = urllib2.Request(img['rel:bf_image_src'], headers=headers) 
      img_out.write(urllib2.urlopen(req).read()) 
      sleep(5)