SEOMoz Rank Checker와 같은 도구는 어떻게 작동합니까?

Question

긴 키워드 목록의 검색 결과에서 사이트의 위치를 ​​확인할 수있는 여러 가지 도구가있는 것 같습니다. 이와 같은 기능을 내가 수행중인 분석 프로젝트에 통합하고 싶지만 Google TOS를 위반하지 않고 높은 볼륨 (시간당 1000 초)으로 쿼리를 실행하고 잠재적으로 자신의 것과 충돌하는 방식으로 쿼리를 실행하는 방법을 생각할 수 없습니다. 자동 쿼리 검색 시스템 (IP에서 검색 량이 너무 높아지면 보안 문자를 설정하는 시스템)

이러한 자동 검색을 실행하는 다른 방법이 있습니까, 아니면 검색 결과 페이지를 긁을 수있는 유일한 방법입니까?

Answer 1

Google의 서비스 약관을 두려워하면 제 3자를 사용하여 긁어 모으세요.

Answer 2

Google은 자동 쿼리를 전송하는 것으로 보이는 IP 주소를 일시적으로 금지/차단하는 것이 매우 중요합니다. 물론 그렇습니다. 이것은 본인의 서비스 약관에 위배됩니다.

정확히 어떻게 탐지하고 있는지는 알기가 어렵지만 주된 이유는 동일한 IP 주소에서 키워드 검색이 동일하다는 것입니다.

짧은 대답은 기본적으로 : 프록시

좀 더 팁을 많이 받기 :

• 더 당신이에 (예를 들어 처음 10 페이지)를 필요 이상 검색하지 마십시오
• 을 같은 키워드에 대한 검색어 사이에 약 4-5 초 정도 기다려주십시오.
• "CURL ..."과 같은 것이 아닌 실제 브라우저 헤더를 사용하십시오.
• 도로 블록을 때리고 같은 프록시를 사용하기 전에 며칠을 기다릴 때 IP로 근근이 살아가는 것을 그만 두십시오.
• 실제 사용자처럼 프로그램을 작동 시키면 너무 많은 문제가 발생하지 않습니다.

매우 쉽게 Google을 스크래핑 할 수 있지만 매우 높은 볼륨에서 수행하는 것은 어려울 수 있습니다.