마케팅 캠페인에서 특정 방문 페이지를 사용하고 싶습니다. Google의 빠른 검색은 robots.txt 파일을 사용하여 특정 페이지 및/또는 디렉토리를 허용하지 않는 방법을 보여줍니다. (link)robots.txt 파일을 사용하여 방문 페이지를 허용하지 않으려면 어떻게해야하나요?
robots.txt 파일에 단일 페이지 항목을 넣어야합니까? 검색 엔진에서 이러한 방문 페이지의 색인을 생성하지 않겠습니까? 아니면 특정 디렉토리에 입력하고 디렉토리를 허용하지 않아야합니까?
내 관심사는 누구나 robots.txt 파일을 읽을 수 있으며 실제 페이지 이름이 robots.txt 파일 내에 표시되면 목적을 이길 수 있다는 것입니다.
는 "그것은 목적을 패배." 어떻게 그렇게? robots.txt의 목적은 크롤러가 특정 파일이나 파일 그룹을 읽지 못하게하는 것입니다. 크롤러의 동작에 관한 한 개별 파일을 제외하거나 디렉토리에 모든 파일을 넣거나 해당 디렉토리를 제외할지 여부는 중요하지 않습니다.
디렉토리에 모든 것을 추가하면 robots.txt 파일의 크기가 작아지고 관리하기가 쉽습니다. 새 방문 페이지를 만들 때마다 새 항목을 추가 할 필요가 없습니다.
robots.txt에 파일 이름을 넣는 것은 파일을 읽는 사람이 파일이 있다는 것을 알 수있게합니다. 그건 문제가 아니야. 다른 사람들이 볼 수 없도록하는 민감한 정보가 있다면 robots.txt에 언급되었는지 여부에 관계없이 액세스 할 수 없습니다. 파일에 공개적으로 액세스 할 수있는 경우 로봇은 robots.txt에 언급하지 않아도 파일을 찾을 수 있습니다.
robots.txt는 단지 지침 일뿐입니다. robots.txt에 disallow 행이 있어도 부적절한 크롤러가 해당 페이지를 볼 수 있습니다. 크롤러에게 해당 페이지를보고 싶지 않다고 알려줍니다. 그러나 크롤러는 로봇을 무시할 수 있습니다. 그렇게해서는 안되며, 그렇다면 차단할 수는 있지만 robots.txt 자체는 도로 블록보다 정지 신호와 같습니다.
페이지의 HEAD에서 NOINDEX META 태그를 간단하게 사용할 수 있어야합니다.