Heroku가

Question

나에게 Heroku에 다음과 같은 오류가 계속 크레이그리스트에서 일부 데이터를 끌어 기계화 사용에 대한 기계화 403 오류 : status: Net::HTTPForbidden 1.1 403 Forbidden

I가 발생하지 않도록하는 몇 가지 방법은 무엇인가 궁금 내 설정은 다음과 같습니다 :

agent = Mechanize.new do |agent| 
    agent.log    = @logger 
    agent.user_agent_alias = 'Mac Safari' 
    agent.robots   = false 
end 

아이디어가 있으십니까?

Answer 1

기계화 및 기타 브라우저 에뮬레이터로 작업 할 때 네트워크를 모니터링해야하므로 Google 크롬 개발자 도구를 선호합니다.

는 일반 브라우저로 URL을 검사하고 이러한 확인 :

1. 이 유효이 URL인가?
2. 이 URL은 공개 되었습니까?
3. 이 URL 브라우저가 제한되어 있습니까?
4. 로그인으로이 URL을 보호합니까?
5. 정상적인 조건에서이 URL에 어떤 매개 변수가 필요합니까? 액세스중인 URL가 제한됩니다

디버그 이러한 점 때문에 될 수있다

• 공공 사용
• 있을 수 있습니다 그 것이다 인덱싱
• 는 서버가 될 수 있습니다 허용되지 않습니다 디렉토리 경로, 일부 사용자 에이전트에 대해 제한했습니다.
• 요청을 완전히 복제하지 않을 수 있습니다.

나는 너무 많이 "사용하고 있을지도 모른다"고 생각하지만 내 포인트는 공개적으로 링크를 게시 할 수 없다는 것입니다. 귀하의 링크가 디렉토리에 직접 닿아 색인 생성이 해제 된 경우 오류를 추측 할 수 있습니다. 당신도 몇 가지 중요한 매개 변수가 누락 요청을 복제하지 않는 다른 경우

browser = Mechanize.new 
browser.user_agent_alias = 'Windows IE 7' 

: 그것은 다음과 같은 특정 사용자 에이전트와 기계화를 초기화 할 필요가 특정 사용자 에이전트가 '는 t은 어느 기계화에 찾아 또는 잘못된 요청 유형을 보내면 헤더가 누락되었을 수 있습니다.

편집 : 이제 당신이 여기 링크를 제공 한 것을 나는이 조금 청소기 만들 거라고 생각 HTTPS

Mechanize.new{|a| a.ssl_version, a.verify_mode = 'SSLv3', OpenSSL::SSL::VERIFY_NONE}; 

Answer 2

을 처리하는 동안해야 할 일이다. 새로운 헤더를 요청하여 해결할 수 있었던 동일한 문제가 발생했습니다.

@agent = Mechanize.new { |agent| 
         agent.user_agent_alias = 'Windows Chrome'} 


@agent.request_headers 

아직 처리하지 않은 오류 처리 기능도 포함시켜야합니다.

begin #beginning of block for handling rescue 
       @results_page = #getting some page and doing cool stuff 
     #The following line puts mechanize to sleep when a new page is reached for 1/10 second. This keeps you from overloading the site you're scraping and minimizing the chance of getting errors. If you start to get '503' errors you should increase this number a little! 
       @agent.history_added = Proc.new {sleep 0.1} 

      rescue Mechanize::ResponseCodeError => exception 
       if exception.response_code == "503" 
       @agent.history_added = Proc.new {sleep .2} 
       #the following line closes all active connections 
       @agent.shutdown 
       @agent = Mechanize.new { |agent| 
        agent.user_agent_alias = 'Windows Chrome'} 
       @agent.request_headers 
       @page = @agent.get('the-webpage-i-wanted.com') 
       @form = @page.#GettingBackToWhereIWas 
       redo 
       else 
       #more error handling if needed 
       end 

는 *** 참고 : 그들은 단지 15-30 두 번째 요청 - 응답주기를 할 수 있기 때문에 Heroku가에 시간 초과 오류를 방지하기 위해 백그라운드 프로세스로이 실행 고려 나는 아이디어를 제공하려면 다음을 썼다. 이미 redisToGo (heroku addon)와 sidekiq (dl gem)을 사용하고 있습니다.