Googlebot이 Rails 앱 링크를 하위 도메인으로 대체합니다.

Question

도메인 이름이 abc.com 인이 Rails 앱이 있습니다. 이 서브 도메인 stats.abc.com에 Piwik 통계를위한 별도의 하위 도메인도 있습니다.

Googlebot이 어떻게 든 내 하위 도메인과 일부 링크를 나열했습니다. stats와

http://abc.com/login 
http://stats.abc.com/login 
http://abc.com/signup 
http://stats.abc.com/signup 

것들은 응용 프로그램에서 동일한 페이지를 참조하지만, 완전히 다른 웹 사이트를 처리됩니다.

나는이 문제 이후에 robots.txt에 넣었으나 장래에 새로운 하위 도메인을 가질 수 있기 때문에 이것을 막을 수있는 적절한 방법이 있는지 궁금합니다. 내 콘텐츠는 다음과 같습니다. robots.txt

User-agent: * 
Disallow:/

감사합니다.

Answer 1

Robots.txt가 올바르게 차단합니다. 사이트를 게시하기 전에 기억하는 것이 중요합니다. Google은 꽤 빠릅니다. 일부 검색 엔진은 robots.txt를 무시합니다. 가장 좋은 일은 실제로 상황에 맞지 않는 하위 도메인이없는 것입니다. 하위 도메인의 진정한 목적을 읽는 것이 좋습니다. 다른 도메인에서 동일한 사이트를 제공해서는 안됩니다. 다른 하위 도메인에서 301 직접 또는 다른 내용을 사용해야합니다. stats.abc.com에 다른 자료가 포함되어 있지 않으면 하위 도메인이 아니어야합니다. 정확히 많은 하위 도메인이 필요한 것은 무엇입니까?

당신 은 사용자 에이전트를 감지하고 봇이 있다면, 내가 다른 응용 프로그램 (워드 프레스, Piwik, PHP)의있는 등 블로그, 지원에 대한 하위 도메인을 404도