beautifulSoup를 사용하여 웹 사이트에서 모든 이미지를 추출하고 다운로드하는 방법은 무엇입니까?

Question

URL에서 모든 이미지를 추출하고 다운로드하려고합니다. 내가

import urllib2 
import re 
from os.path import basename 
from urlparse import urlsplit 

url = "http://filmygyan.in/katrina-kaifs-top-10-cutest-pics-gallery/" 
urlContent = urllib2.urlopen(url).read() 
# HTML image tag: <img src="url" alt="some_text"/> 
imgUrls = re.findall('img .*?src="(.*?)"', urlContent) 

# download all images 
for imgUrl in imgUrls: 
    try: 
     imgData = urllib2.urlopen(imgUrl).read() 
     fileName = basename(urlsplit(imgUrl)[2]) 
     output = open(fileName,'wb') 
     output.write(imgData) 
     output.close() 
    except: 
     pass 

가 난 그냥 "다음"버튼을 클릭하지 않고 모든 이미지를 얻으려면 http://i.share.pho.to/1c9884b1_l.jpeg 이 이미지를보고이 페이지의 이미지를 추출하고 싶지 않은 스크립트를 작성 내가 어떻게 할 수지고 있지 않다 나는 "다음"수업에서 모든 사진을 얻는다.? 내가 findall에서해야 할 일은 무엇인가?

Answer 1

사진 만 원한다면 웹 페이지를 스크래핑하지 않고도 사진을 다운로드 할 수 있습니다. 그것이 당신에게 모든 이미지를 줄 것 같은

http://filmygyan.in/wp-content/gallery/katrina-kaifs-top-10-cutest-pics-gallery/cute1.jpg 
http://filmygyan.in/wp-content/gallery/katrina-kaifs-top-10-cutest-pics-gallery/cute2.jpg 
... 
http://filmygyan.in/wp-content/gallery/katrina-kaifs-top-10-cutest-pics-gallery/cute10.jpg 

그래서 간단한 코드 : BeautifulSoup로와

import os 
import urllib 
import urllib2 


baseUrl = "http://filmygyan.in/wp-content/gallery/katrina-kaifs-top-10-"\ 
     "cutest-pics-gallery/cute%s.jpg" 

for i in range(1,11): 
    url = baseUrl % i 
    urllib.urlretrieve(url, os.path.basename(url)) 

클릭하거나 이미지를 스크랩 다음 페이지로 이동해야 할 것입니다 모두 동일한 URL을 가지고있다. 당신이 하다며 스크랩을 원하는 경우 각 페이지는 개별적으로 해당 페이지에서 모든 이미지를 추출하고 스크립트가 실행되는 디렉토리에 작성해야 다음 shutterset_katrina-kaifs-top-10-cutest-pics-gallery

Answer 2

거기 클래스를 사용하여 scrathem하려고합니다.

import re 
import requests 
from bs4 import BeautifulSoup 

site = 'http://pixabay.com' 

response = requests.get(site) 

soup = BeautifulSoup(response.text, 'html.parser') 
img_tags = soup.find_all('img') 

urls = [img['src'] for img in img_tags] 


for url in urls: 
    filename = re.search(r'/([\w_-]+[.](jpg|gif|png))$', url) 
    with open(filename.group(1), 'wb') as f: 
     if 'http' not in url: 
      # sometimes an image source can be relative 
      # if it is provide the base url which also happens 
      # to be the site variable atm. 
      url = '{}{}'.format(site, url) 
     response = requests.get(url) 
     f.write(response.content)