빠른 다운로드를위한 멀티 스레딩

Question

여러 링크를 동시에 다운로드하려면 어떻게해야합니까? 아래 스크립트는 작동하지만 한 번에 하나만 다운로드하면 속도가 매우 느립니다. 스크립트에서 멀티 스레딩을 통합하는 방법을 알 수 없습니다.

파이썬 스크립트 : HTML 파일이 links.html라고

from BeautifulSoup import BeautifulSoup 
import lxml.html as html 
import urlparse 
import os, sys 
import urllib2 
import re 

print ("downloading and parsing Bibles...") 
root = html.parse(open('links.html')) 
for link in root.findall('//a'): 
    url = link.get('href') 
    name = urlparse.urlparse(url).path.split('/')[-1] 
    dirname = urlparse.urlparse(url).path.split('.')[-1] 
    f = urllib2.urlopen(url) 
    s = f.read() 
    if (os.path.isdir(dirname) == 0): 
    os.mkdir(dirname) 
    soup = BeautifulSoup(s) 
    articleTag = soup.html.body.article 
    converted = str(articleTag) 
    full_path = os.path.join(dirname, name) 
    open(full_path, 'w').write(converted) 
    print(name) 

가 : - 생산자의 문제 -

<a href="http://www.youversion.com/bible/gen.1.nmv-fas">http://www.youversion.com/bible/gen.1.nmv-fas</a> 

<a href="http://www.youversion.com/bible/gen.2.nmv-fas">http://www.youversion.com/bible/gen.2.nmv-fas</a> 

<a href="http://www.youversion.com/bible/gen.3.nmv-fas">http://www.youversion.com/bible/gen.3.nmv-fas</a> 

<a href="http://www.youversion.com/bible/gen.4.nmv-fas">http://www.youversion.com/bible/gen.4.nmv-fas</a> 

Answer 1

그것은 소비자처럼 나에게 보이는 위키 백과

당신은

를 사용할 수 있습니다 참조

import Queue, thread 

# create a Queue.Queue here 
queue = Queue.Queue() 

print ("downloading and parsing Bibles...") 
root = html.parse(open('links.html')) 
for link in root.findall('//a'): 
    url = link.get('href') 
    queue.put(url) # produce 




def thrad(): 
    url = queue.get() # consume 
    name = urlparse.urlparse(url).path.split('/')[-1] 
    dirname = urlparse.urlparse(url).path.split('.')[-1] 
    f = urllib2.urlopen(url) 
    s = f.read() 
    if (os.path.isdir(dirname) == 0): 
    os.mkdir(dirname) 
    soup = BeautifulSoup(s) 
    articleTag = soup.html.body.article 
    converted = str(articleTag) 
    full_path = os.path.join(dirname, name) 
    open(full_path, 'wb').write(converted) 
    print(name) 

thread.start_new(thrad,()) # start 1 threads 

Answer 2

내가 일을 병렬화에 대한 multiprocessing를 사용 - 어떤 이유로 내가 좋아하는 것이보다 나은 threading

from BeautifulSoup import BeautifulSoup 
import lxml.html as html 
import urlparse 
import os, sys 
import urllib2 
import re 
import multiprocessing 


print ("downloading and parsing Bibles...") 
def download_stuff(link): 
    url = link.get('href') 
    name = urlparse.urlparse(url).path.split('/')[-1] 
    dirname = urlparse.urlparse(url).path.split('.')[-1] 
    f = urllib2.urlopen(url) 
    s = f.read() 
    if (os.path.isdir(dirname) == 0): 
    os.mkdir(dirname) 
    soup = BeautifulSoup(s) 
    articleTag = soup.html.body.article 
    converted = str(articleTag) 
    full_path = os.path.join(dirname, name) 
    open(full_path, 'w').write(converted) 
    print(name) 

root = html.parse(open('links.html')) 
links = root.findall('//a') 
pool = multiprocessing.Pool(processes=5) #use 5 processes to download the data 
output = pool.map(download_stuff,links) #output is a list of [None,None,...] since download_stuff doesn't return anything 

Answer 3

2017 년 asyncio하고있는 ThreadPoolExecutor 같은 지금 몇 가지 다른 옵션이 있습니다. 여기

는 (파이썬 미래에 포함됨)에 ThreadPoolExecutor 예

from concurrent.futures import ThreadPoolExecutor 

def download(url, filename): 
    ... your dowload function... 
    pass 

with ThreadPoolExecutor(max_workers=12) as executor: 
    future = executor.submit(download, url, filename) 
    print(future.result()) 

제출() 함수는 큐에 작업을 제출할 것이다.

Python version 3.5 and above: 
if max_workers is None or not given, it will default to the number of processors on the 
machine, multiplied by 5. 

당신은 max_workers을 설정할 수 있습니다 (큐 관리는 당신을 위해 수행), 몇 번 연습에 CPU 코어의 수는 몇 가지 테스트는 FAW 당신이 컨텍스트 스위칭 오버 헤드에 따라 최대 갈 수있는 방법을 보려면 않습니다. 실제로 우리가 도움을 줄 수있는 문제가 발생하지 않도록 당신도, 아직 아무것도 시도하지 않은 https://docs.python.org/3/library/concurrent.futures.html