이것은 실제로 URL을 긁어 내기 위해 스레딩을 사용하고 있습니까?

Question

미리 도움을 주셔서 감사합니다. 저는 Python에 익숙하지 않고 스레딩 모듈을 사용하여 NY Daily News 사이트에서 URL을 긁어 모으려고합니다. 나는 다음을 함께 쓰고 스크립트는 폐기하고 있지만 이전보다 빠르지는 않은 것 같아서 스레딩이 발생하고 있는지 잘 모르겠습니다. 그게 있으면 알려주실 수 있습니까? 내가 말할 수 있도록 쓸 수 있을까요? 또한 스레딩에 대한 다른 팁도 있습니다.

감사합니다.

from bs4 import BeautifulSoup, SoupStrainer 
import urllib2 
import os 
import io 
import threading 

def fetch_url(): 
    for i in xrange(15500, 6100, -1): 
     page = urllib2.urlopen("http://www.nydailynews.com/search-results/search-results-7.113?kw=&tfq=&afq=&page={}&sortOrder=Relevance&selecturl=site&q=the&sfq=&dtfq=seven_years".format(i)) 
     soup = BeautifulSoup(page.read()) 
     snippet = soup.find_all('h2') 
     for h2 in snippet: 
      for link in h2.find_all('a'): 
       logfile.write("http://www.nydailynews.com" + link.get('href') + "\n") 
     print "finished another url from page {}".format(i) 

with open("dailynewsurls.txt", 'a') as logfile: 
    threads = threading.Thread(target=fetch_url()) 
    threads.start() 

Answer 1

아래는 (매우 빠르게 nydailynews.com에서 블랙리스트에 얻을 것이다) 순진 구현 : fetch_url 인수로 URL에 대체 할 수 소요

def fetch_url(i, logfile): 
    page = urllib2.urlopen("http://www.nydailynews.com/search-results/search-results-7.113?kw=&tfq=&afq=&page={}&sortOrder=Relevance&selecturl=site&q=the&sfq=&dtfq=seven_years".format(i)) 
    soup = BeautifulSoup(page.read()) 
    snippet = soup.find_all('h2') 
    for h2 in snippet: 
     for link in h2.find_all('a'): 
      logfile.write("http://www.nydailynews.com" + link.get('href') + "\n") 
    print "finished another url from page {}".format(i) 

with open("dailynewsurls.txt", 'a') as logfile: 
    threads = [] 
    for i in xrange(15500, 6100, -1): 
     t = threading.Thread(target=fetch_url, args=(i, logfile)) 
     t.start() 
     threads.append(t) 
    for t in threads: 
     t.join() 

하는 것으로하고, 그 인수에 대한 각 가능한 값은 별도의 스레드에서 시작됩니다.

나는 강력하게으로 작업을 작은 배치로 나누고 한 번에 하나의 배치를 실행하는 것이 좋습니다.

Answer 2

아니요, 스레드를 사용하고 있지 않습니다. threads = threading.Thread(target=fetch_url())은 주 스레드에서 fetch_url()을 호출하고 은 완료 될 때까지 대기하고의 반환 값 (None)을 threading.Thread 생성자로 전달합니다.