URL 단축키로 컬링 요청 추적

Question

URL 단축기가 인식하도록 컬링 명령을 구성하는 방법은 무엇입니까? bit.ly 또는 goo.gl에서 단축 된 URL을 사용하여 아래 명령을 실행하면 두 서비스에서 요청을 인식하지 못합니다.

curl -L "http://bit.ly/1efYimy" 

Answer 1

대부분의 URL 단축키는 다양한 형태의 필터링 및 정규화를 수행하여 신고 한 통계에서 '봇'트래픽을 제외합니다.

요청 수가 많지 않은 경우 curl로보고 한 사용자 에이전트를 변경하여 요청을 계산할 수 있습니다.

curl -LA "MyApp 1.0" "http://bit.ly/1efYimy" 

또는

curl -L --user-agent "MyApp 1.0" "http://bit.ly/1efYimy" 

좋은 웹 시민 당신이 무엇을하고 있는지 설명하고 찾을 수있는 방법/연락 (예 : "의 MyCo 봇"일부 참조가 그 사용자 에이전트를 선택하십시오 MyCo에 대한 Google 검색을 수행하면 누군가가 귀하의 회사로 이동하게됩니다).

사용자 에이전트 기반 필터링은 완료된 봇 탐지의 한 형태이지만 다양한 서비스가 봇과 유사한 동작을 탐지하는 데 사용할 더욱 정교한 조치가 있습니다. 따라서 많은 양의 요청을하게되면 메트릭이 증가하지 않거나 차단되거나 요금이 제한 될 수 있습니다.