어떻게 모든 소프트웨어 링크를 얻을 수 있습니까?

Question

는이 코드가 있습니다

import urllib 
import urlparse 
from bs4 import BeautifulSoup 

url = "http://www.downloadcrew.com/?act=search&cat=51" 
pageHtml = urllib.urlopen(url) 
soup = BeautifulSoup(pageHtml) 

for a in soup.select("div.productListingTitle a[href]"): 
    try: 
     print (a["href"]).encode("utf-8","replace") 
    except: 
     print "no link" 

     pass 

을하지만 그것을 실행할 때, 나는 20 개 링크 만 얻을. 출력은 20 개가 넘는 링크 여야합니다.

Answer 1

콘텐츠의 첫 번째 페이지 만 다운로드하기 때문에. 이 페이지의 수를 알고 do'nt 경우

import urllib 
import urlparse 
from bs4 import BeautifulSoup 

i = 0 
while 1: 
    url = "http://www.downloadcrew.com/?act=search&page=%d&cat=51" % i 
    pageHtml = urllib.urlopen(url) 
    soup = BeautifulSoup(pageHtml) 

    has_more = 0 
    for a in soup.select("div.productListingTitle a[href]"): 
     has_more = 1 
     try: 
      print (a["href"]).encode("utf-8","replace") 
     except: 
      print "no link" 
    if has_more: 
     i += 1 
    else: 
     break 

가 내 컴퓨터에서 실행할 수 있습니다,

import urllib 
import urlparse 
from bs4 import BeautifulSoup 

for i in xrange(3): 
    url = "http://www.downloadcrew.com/?act=search&page=%d&cat=51" % i 
    pageHtml = urllib.urlopen(url) 
    soup = BeautifulSoup(pageHtml) 

    for a in soup.select("div.productListingTitle a[href]"): 
     try: 
      print (a["href"]).encode("utf-8","replace") 
     except: 
      print "no link" 

과 60를 얻을 :

그냥 모든 페이지를 donwload하기 위해 루프를 사용 세 페이지의 링크.
행운을 빕니다 ~