로컬 웹 서버의 루트 디렉토리에 robots.txt 파일을 추가합니다.robots.txt가 localhost의 로컬 웹 서버에서 작동하는지 테스트하는 방법은 무엇입니까?
서버의 robots.txt 파일의 URL은 http://localhost/myserver/robots.txt입니다.
robots.txt 파일의 내용은 어떻게 robots.txt 파일은 로컬 웹 서버의 작동하는지 확인할 수 있습니다
User-agent: *
Disallow:/
입니까?
일부 웹 크롤러 또는 검색 엔진을 로컬에 설치하고 실행하여 확인해야합니까?
감사합니다.
robots.txt 파일이 로컬 웹 서버에서 작동하는지 어떻게 확인할 수 있습니까?
내가 알고있는 한, robots.txt 파일은 크롤러가 사이트를 크롤링하는 것을 중지하지 않습니다. 그것은 단지 주장하지 않습니다. 즉, 해당 작품이 아닌지 확인할 수 없습니다.
대신 크롤러가 사이트를 방문 할 때 robots.txt을 읽을 수 있는지 확인해야합니다. 이를 통해 규칙을 준수 할 수 있습니다.
즉, robots.txt 파일이 루트 경로 아래에 있어야합니다. xyz 도메인 아래에 사이트를 호스팅하려는 경우 http://xyz/robots.txt이 위치해야합니다.
자세한 내용은 this을 확인하십시오.
사이트가 실시간 인 경우 온라인 도구를 사용하여 robots.txt에 액세스 할 수 있는지 확인할 수 있습니다. 그러한 도구 중 하나는 this입니다.
크롤러를 로컬로 실행하고 있습니까? 또는 어떤 시점에서 웹에 게시 될 사이트에 대한 것이고, 지금 robots.txt를 테스트하고 싶습니다 (즉, 사이트가 온라인 상태가되는 즉시 의도 한대로 작동하는 경우). – unor
아직 개발 환경에서 테스트하고 싶습니다. 아직 액세스 할 수없는 프로덕션 환경에 있지 않습니다. – Tim