이 Ip 범위를 차단해야합니까?

Question

내 사이트에 사용자 에이전트로 로봇을 식별하지 못하는 크롤러가 있습니다. IP 주소의

하나입니다
131.161.8.197

봇의 모든 131.161의 IP 범위에 속한다.

명백하게 그것은 ipwhois에 근거를 둔 "brasil baidu"다.

ips의 전체 범위를 차단해야합니까?

Answer 1

브라질 출신이기 때문에 실제로 브라질 지역을 타겟팅해야합니까?

크롤러를 차단하면 처리 할 교통량이 적어 지므로 개인적으로 차단할 수 있습니다.

robots.txt를 사용하거나 서버 측에서 할 수 있습니다.

Order Deny,Allow 
Deny from 131.161.8.197 

나 :

User-agent: Baiduspider 
User-agent: Baiduspider-video 
User-agent: Baiduspider-image 
Disallow:/