Python을 사용하여 여러 웹 페이지 구문 분석

Question

특정 텍스트와 이미지를 추출하기 위해 여러 웹 페이지를 구문 분석하려고합니다. 지금까지 한 페이지를 구문 분석 할 수 있었지만 다음 링크의 모든 페이지에서 스크립트를 실행하는 방법을 찾고 있습니다 : http://www.bbc.co.uk/food/recipes/search?cuisines[]=british (108 개가 있습니다).

기본적으로 옆에있는 텍스트와 함께 이미지가 필요합니다.

Answer 1

길을에 넣으려고 너무 많은 노력을하기 전에 for 루프가 필요하다는 것을 깨달았습니다.

다음은 같은 페이지에 URL 인수로 페이지 번호 만이 시간 :

http://www.bbc.co.uk/food/recipes/search?page=1&cuisines[0]=british&sortBy=lastModified 

변경 페이지 번호, 당신은 그들 모두 (108)을 얻을 수 있습니다.

for i in range(1,109): 
    url = "http://www.bbc.co.uk/food/recipes/search?page={pagenum}&cuisines[0]=british&sortBy=lastModified".format(pagenum = i) 
    doYourThing(url)