HTTP 요청이 BOT인지 확인하는 방법

BOTS (크롤러, 거미, 트위터 봇 등)의 사용자 에이전트 전체 목록을 찾고 있습니다.HTTP 요청이 BOT인지 확인하는 방법

아십니까?

감사

출처

2011-01-19 Himberjack

프로그래밍과 어떤 관련이 있습니까? – sbi

HTTP 요청을 필터링하기 위해 필요합니다 – Himberjack

살고있는 곳이 Google입니까? 다행히 그것은 나를 위해 작동합니다. 여기 있습니다 : [http://www.user-agents.org/](http://www.user-agents.org/). –

짧은 이야기 : 당신은 할 수 없습니다, 은색 총알이 없습니다. 모든 봇은 user-agent 문자열을 'googlebot'에서 'spamalot'까지 설정할 수 있습니다.

당신은 스스로를 볼 수 있습니다. 당신이해야 할 일은 신목이 가리키는 첫 번째 사이트로 가서 거기에 열거 된 Googlebot/2.X 봇을 모두 세는 것입니다. 당신은 그들을 차단하고, 봇의 이름을 횡설수설하는 등으로 바꿉니다. 결국 봇 (bot)인지 아닌지를 확인하려고 할 때 사용자로드 시간을 줄이는 10k 봇 목록으로 끝납니다.

출처

2011-01-20 03:09:17 Ben

Google에서이를 분석에서 어떻게합니까? – Himberjack

체크리스트 : http://www.botsvsbrowsers.com/category/1/index.html

그것은 4768 봇 사용자 에이전트의 총 수를 포함합니다.

봇 탐지를 수행하는 다른 방법은 화이트리스트 방식으로 역방향 접근법을 사용하는 것입니다. 즉, 사용자 에이전트가 봇이 아닌지 확인한 다음 다른 것이 봇입니다. :-)

비 bot 사용자 에이전트의 포괄적 인 목록을 컴파일하려면 http://www.user-agents.org/ 및 http://www.botsvsbrowsers.com/에 목록을 사용할 수 있습니다.

출처

2011-01-19 11:19:09 Shinnok

다른 하나 : http://www.useragentstring.com/pages/useragentstring.php – surfealokesea

HTTP 요청이 BOT인지 확인하는 방법

답변

관련 문제