아름다운 스프를 사용하여 여러 URL 긁기

Question

여러 URL에서 특정 클래스를 추출하려고합니다. 태그와 클래스는 동일하게 유지되지만 필자가 링크를 입력 할 때 파이썬 프로그램을 모두 사용해야합니다.

from bs4 import BeautifulSoup 
import requests 
import pprint 
import re 
import pyperclip 

url = input('insert URL here: ') 
#scrape elements 
response = requests.get(url) 
soup = BeautifulSoup(response.content, "html.parser") 

#print titles only 
h1 = soup.find("h1", class_= "class-headline") 
print(h1.get_text()) 

이 개별 URL 작동하지만 배치에 대한 :

여기에 내 작품의 샘플입니다. 도와 주셔서 감사합니다. 나는이 공동체에서 많은 것을 배웠다.

Answer 1

URL 목록을 가지고 그것을 반복합니다. 당신은 일괄 링크를 긁어하려면

from bs4 import BeautifulSoup 
import requests 
import pprint 
import re 
import pyperclip 

urls = ['www.website1.com', 'www.website2.com', 'www.website3.com', .....] 
#scrape elements 
for url in urls: 
    response = requests.get(url) 
    soup = BeautifulSoup(response.content, "html.parser") 

    #print titles only 
    h1 = soup.find("h1", class_= "class-headline") 
    print(h1.get_text()) 

당신은 그것을 할 수있는 각 사이트에 대해 입력하라는 메시지를 표시하려면이 방법

from bs4 import BeautifulSoup 
import requests 
import pprint 
import re 
import pyperclip 

urls = ['www.website1.com', 'www.website2.com', 'www.website3.com', .....] 
#scrape elements 
msg = 'Enter Url, to exit type q and hit enter.' 
url = input(msg) 
while(url!='q'): 
    response = requests.get(url) 
    soup = BeautifulSoup(response.content, "html.parser") 

    #print titles only 
    h1 = soup.find("h1", class_= "class-headline") 
    print(h1.get_text()) 
    input(msg) 

Answer 2

을하려는 경우. 배치 크기를 지정하고 반복하십시오. 역 추적 (마지막으로 가장 최근 통화) :

from bs4 import BeautifulSoup 
import requests 
import pprint 
import re 
import pyperclip 

batch_size = 5 
urllist = ["url1", "url2", "url3", .....] 
url_chunks = [urllist[x:x+batch_size] for x in xrange(0, len(urllist), batch_size)] 

def scrape_url(url): 
    response = requests.get(url) 
    soup = BeautifulSoup(response.content, "html.parser") 
    h1 = soup.find("h1", class_= "class-headline") 
    return (h1.get_text()) 

def scrape_batch(url_chunk): 
    chunk_resp = [] 
    for url in url_chunk: 
     chunk_resp.append(scrape_url(url)) 
    return chunk_resp 

for url_chunk in url_chunks: 
    print scrape_batch(url_chunk)