2012-10-26 3 views
5

나는이 문제를 데이터베이스에서 조사하고, 질문을 검색하고, 두 가지 다른 오류를 발견했습니다. 나는 503 개의 오류가 아마존을 차단하고 있다고 결론을 내렸지 만 같은 줄을 따라 다른 오류가 발생하지만 503 개의 오류는 반환되지 않습니다. 나는 그 차이를 해독 할 수 없다. 누구든지 도울 수 있니? 내가 얻는 오류는 다음과 같습니다. 내가 사용하는 HTML 파서는 HTML 민첩성 팩과 그냥 애자스크랩 제안은 결과를 반환하지 않습니다.

http://www.amazon.com/gp/offer-listing/1902915208 error The remote server returned an error: (503) Server Unavailable.

Scrape Offers returned no results.

오류가 일관되고 함정에 그렇게 쉬운 일이 아닙니다 아닙니다이다. 다음 스크랩에서 오류가 반환됩니다. 그것은 매우 무작위이며 일관되게 동일한 제품에서 발생하지 않습니다. 나는 매일 이런 것들을 많이 얻고 있으며 가격을 업데이트하고 고객에게 정확한 정보를 제공하지 못하게하고 있습니다.

+0

동일한 문제가 있습니다. 나는 CURL을 사용하고 있으며 Servers는 독일에 있습니다. 아직 영혼을 찾지 못하셨습니까? –

답변

3

제가 알기에 문제는 아마존에 보낸 User-Agent입니다. CURL-options에 다음 명령을 추가했는데 이제는 US-Proxy가 없어도 작동합니다.

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); 
0

나는 20 회의 웹 페이지 요청마다 1 초의 수면 시간을 걸었다. 그리고 그것은 내 문제를 해결했습니다.

관련 문제