내 공개 웹 사이트에 반드시 robots.txt 파일이 필요합니까?

Question

나는 나의 SEO 기초가 커버되는지 확인하기 위하여 나의 웹 사이트의 한 쌍을 검토하고있다. 문제가되는 사이트에는 비공개 페이지가 없으므로 모든 페이지를 색인화해야합니다. 어쨌든 robots.txt 파일을 포함시키지 않더라도 내 사이트가 Google에 평판이 좋고 중요하게 보이게 만드시겠습니까?

Answer 1

서버가 없어도 서버가 요청자에게 404 메시지를 계속 보내고 있기 때문에 아무 것도 입력하지 않고 그냥 빈칸을 넣을 수 있습니다. 다음 중 빈 robots.txt 파일보다 클 수 있습니다.

Answer 2

아니요, 그렇지 않습니다.

Google은 자체 규칙을 가지고 있으며 robots.txt의 존재 여부에 의존하지 않습니다.

Answer 3

Google 만 답변을드립니다.

wikipedia에 따르면 robots.txt는 블랙리스트, 속도 제한 및 사이트 맵에만 사용됩니다.

Answer 4

Google에 따르면, 좋은 생각입니다. 그들의 지침/지침은 실제로 꽤 철저합니다.

Answer 5

검색 엔진은 robots.txt 파일을 찾습니다. 검색 엔진에 없으면 검색 엔진에 404가 표시됩니다. 비어있는 경우에도 검색 엔진을 보유하는 것이 좋습니다.

Answer 6

이 질문에 대한 답변은되었지만 대답은 모두 약간 오래된 것이므로이 질문은 검색 결과에 계속 나타나며 모든 것이 변경되었습니다.

Google now recommend 다음

이 사이트의 모든 콘텐츠에 대한 색인을 검색 엔진하려는 경우

, 당신은 이 robots.txt 파일 (심지어 빈을) 필요하지 않습니다. JohnMu (구글의)

는 또한 following suggestion 수 :

내가 더도 조금 가고, 아마 완전히 robots.txt 파일을 제거하는 것이 좋습니다.