GAE에서 Yandex 및 Baidu IP를 차단하는 방법은 무엇입니까? robots.txt에에서

Question

내가 넣을 수 있습니다 :

#Baiduspider 
User-agent: Baiduspider 
Disallow:/

#Yandex 
User-agent: Yandex 
Disallow:/

내 앱 페이지 (PHP 응용 프로그램)을 크롤링 중지 검색 엔진을 말해. 그러나 GAE에서 IP로 그들을 차단하는 방법?

Answer 1

두 가지 방법이 있습니다.

1. 코드에서 확인하십시오. 그게 내가 그 두 검색 엔진을 차단하고 이유 인 인스턴스 시간을 소비하는 것이기 때문에

2. 사용하여 DOS 시설 https://developers.google.com/appengine/docs/python/config/dos