오류 메시지와 함께 스크래핑을 계속하는 방법

Question

수천 개의 데이터를 수집하는 내 웹 스크래핑 스크립트를 실행 중입니다. 문제는 오류가있을 때 계속 멈추는 것입니다. 나는 단지 오류를 기록하고 다음 url을 계속하기를 원한다. 여기에 나는 현재 내가 스크립트를 중지하고 로그에서 오류를 방지 할 수있는 방법 예외

uClient3 = '' 
while uClient3 == '': 
    try: 
     uClient3 = requests.get(fsgsubcard2ref) 
     print("Proceding to the next level in...") 

    except: 
     print("Connection refused by the server..") 
     print("Let me sleep for 7 seconds") 
     print("ZZzzzz...") 
     time.sleep(8) 
     print("Was a nice sleep, now let me continue...") 

     continue 

에 관해서이 무엇인가?

Answer 1

uClient3 = requests.get(fsgsubcard2ref) 후, uClient3는 Response 객체를 저장할 것입니다, 당신의 조건 while uClient3 == ''는 False를 반환합니다. 내 편에서 가장 좋은 방법은 for-loop를 사용하는 것입니다.

for i in fsgsubcard2ref: # fsgsubcard2ref should be a list() with all url, or you can can use variable with another name 
    try: 
     response = requests.get(i) 
     # processing 
    except: 
     print('Error')