robots.txt 파일을 사용하여 Google Listings에서 페이지를 제거하십시오.

Question

올바른 방법인가요? 아래는 내 txt 파일로, Google이 내 admin 디렉토리와 oldpage.php의 색인을 생성하지 못하도록합니까?

User-agent: * 
Allow:/
Disallow: /admin/ 
Disallow: http://www.mysite.com/oldpage.php 

Answer 1

예 단일 파일 제한을 제외하고는 절대적으로 정확합니다.

User-agent: *는 :

Allow: / 모든 크롤러 수단 : 전체 사이트

Disallow: /admin/의 액세스를 허용 : admin 디렉토리에

Disallow: /oldpage.php을 제한 :