http에서 https로 리디렉션 할 때 robots.txt가 작동하지 않는 이유

Question

오늘 Google 검색 문제가 발생합니다. Google에서 "trakopolis"를 입력하면 내 페이지가 표시됩니다 (Google 로봇에 의해 색인이 생성 됨). 그러나 페이지 설명은 사용할 수 없습니다. 내 웹 사이트에 대한 설명이 있어야합니다.

웹 사이트는 다음과 같습니다 파일이이 txt

https://trakopolis.com 

로봇, 내가 할 수있는 모든 :

User-agent: * 
Allow:/

https://www.google.com.ua/?gws_rd=cr#gs_rn=23&gs_ri=psy-ab&tok=O7cIXclKCSxtMd3uDVRVhg&cp=2&gs_id=h&xhr=t&q=trakopolis&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=tr&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.50165853,d.bGE&fp=d3f611552977418f&biw=1680&bih=949

하지만 당신은 설명을 사용할 수 없습니다 볼 수있다. 나는 혼란 스럽다. (미안하다면) 멍청하다.

Google은이 robots.txt 파일을 사용하므로 http에서 https 로의 리디렉션과 관련된 문제 일 수 있습니까? 웹 사이트에서는 http를 허용하지 않습니다. 우리는 https를 사용 그리고 사용자가 인증하지 않은 경우 메인 페이지에 나는 경우 Login.aspx 페이지로 리디렉션을 사용하여 "trakopolis"를 검색 할 때

Answer 1

구글은 설명을 보여줍니다..

robots.txt가 귀하의 사이트를 크롤링하는 것을 허용 한 것으로 보입니다. 다른 검색 엔진은 여전히 ​​설명을 표시 할 수 없기 때문에 e.g. DuckDuckGo을 표시합니다.

robots.txt는 original robots.txt specification의 일부가 아닌 Allow을 사용합니다 (그러나 많은 파서가이를 이해합니다).

이

User-agent: * 
Disallow: 

(.. 그러나 파서는 알 수없는 필드를 무시하기 때문에, 당신은 아무 문제 Allow를 사용하여 빈 또는 어떤 존재 robots.txt에 항상 모든 크롤링하지 허용이 없을 것)