리눅스 서버에 웹 사이트 (Django)가 있지만 Google에서 사이트를 전혀 찾지 못했습니다. 나는 서버에 robots.txt 파일이 없다는 것을 안다. 누군가가 내게 어떻게 쓸 것인지, 무엇을 쓸 것인지, 어디에 둘 것인지를 말해 줄 수 있습니까? 그것은 큰 도움이 될 것입니다!Google에서 Django 애플리케이션에 robots.txt를 추가하는 방법은 무엇입니까?
로봇 txt는 당신의 사이트를 찾을 수 없습니다. 난 당신의 sitemap.xml에게
도있는 robot.txt
검색 엔진이 자주 사이트와 콘텐츠의 색인을 방문하지만 자주 온라인 콘텐츠의 일부를 색인 경우가되지 않는 경우 그것은 대단한있는 robot.txt
것입니다 당신이 원하는. 예를 들어 브라우저에서 볼 수있는 버전과 인쇄용 버전의 두 가지 버전이있는 경우 인쇄 버전을 크롤링에서 제외 시키십시오. 그렇지 않으면 중복 된 콘텐츠 위약이 부과 될 위험이 있습니다. 또한 사이트에 민감한 데이터가있는 경우 전 세계가 보지 못하게하려는 경우 검색 엔진이 이러한 페이지의 색인을 생성하지 않는 것이 좋습니다 (이 경우 중요 데이터를 색인하지 않는 유일한 방법은 별도의 컴퓨터에서 오프라인으로 유지). 또한 이미지, 스타일 시트 및 자바 스크립트를 색인에서 제외하여 대역폭을 절약하려면 스파이더에게 이러한 항목을 멀리 두도록 지시하는 방법이 필요합니다.
검색 엔진에 웹 사이트의 어떤 파일과 폴더가 피해야하는지 알려주는 한 방법은 로봇 메타 태그를 사용하는 것입니다. 그러나 모든 검색 엔진이 메타 태그를 읽지는 않기 때문에 로봇 matatag는 단순히 눈에 띄지 않게 될 수 있습니다. 의지에 대해 검색 엔진에 알리는 더 좋은 방법은 robots.txt 파일을 사용하는 것입니다. Robots.txt를 무엇에서
있는 robot.txt 파일 내용 또는 인덱싱되지 않아야한다 검색 엔진을 얘기하는 데 사용됩니다. robot.txt 파일은 검색 엔진에서 색인을 생성 할 필요가 없습니다.
검색 엔진이 색인을 생성하는 것에 대해 유의해야 할 사항이 많이 있습니다.
그래, 정말 고마워. – doniyor
robots.txt의 위치는보기와 동일합니다.평 및 URL 덕분에 남자의
(r'^robots.txt', 'aktel.views.robots'),
그냥 내 문제를 해결하기 위해이 대답을 사용했다. json_file, 변수가 아니라 robots.txt 파일을 닫았으므로 Closed File에 I/O 오류가 발생한다. 예외. robots.txt 파일을 닫으면 제대로 작동합니다. – Withnail
톤에서보기
이 코드
. 새로운 것을 배웠다! :). 나는 SEO 전문가가 아니지만 어쨌든 물건을 알기에 좋다. – doniyor
@doniyor 당신의 환영 – Efazati
민감한 내용에 관한 비트는 너무 가난하여 나머지 부분을 손상시킵니다. 악의적 인 방문자가 새로운 사이트를 공격 할 때 가장 먼저 보게되는 곳 중 하나는 특히 사람들이 민감한 정보를 "보호"하기 위해이 사이트를 사용하려고 시도했기 때문에 robots.txt입니다. –