웹 사이트의 홈페이지에 사용자가 로그인하지 않은 경우 콘텐츠가 있고 사용자가 로그인 할 때 다른 콘텐츠가 있으면 검색 엔진 봇이 사용자 별 콘텐츠를 크롤링 할 수 있습니까?검색 엔진 봇은 로그인이 필요한 페이지를 크롤링 할 수 있습니까?
크롤링 할 수없는 경우 웹 사이트의 다른 부분에서 콘텐츠를 복제하여 등록시 필요 사항을 언급 한 사용자가 쉽게 액세스 할 수 있도록 할 수 있습니다.
제 추측은 아니지만, 나는 바보 같은 짓을하기 전에 차라리 확신합니다.
크롤러가 쿠키를 지원한다고 가정 할 수는 없지만 크롤러를 식별하고 사이트에서 크롤러를 코드로 "로그인"할 수 있습니다. 그러나 이것은 로그인 한 영역에서 데이터를 얻기 위해 크롤러 인 척하는 모든 사용자에게 개방됩니다.
봇은 문서의 모든 콘텐츠를 볼 수 있습니다. 내용이 문서에 없으면 봇에서 볼 수 없습니다. 문서에 있지만보기에서 숨겨져있는 경우 크롤러가 가져올 수 있습니다.
이렇게해도 대부분의 검색 엔진은 모든 사용자가 입장 할 때와 같은 크롤러 콘텐츠를 표시하지 않으므로 색인에서 귀하의 사이트가 금지 될 수 있습니다.
등록을해야하는 것처럼 보일지라도 아래쪽으로 스크롤하면 expertsexchange와 같은 사이트에서 답변을 제공해야합니다. (이유는 Google 리퍼러 btw를 사용하여 expertsexchange를 입력 한 경우에만 가능합니다.)
특히 크롤러가 사용자 별 홈 페이지 콘텐츠를 보지 못하도록하고 싶습니다. 크롤러가 "로그인하지 않은"콘텐츠를 표시하도록합니다. 그래서 봇이 로그인 콘텐츠를 크롤링 할 수 있도록 코딩이 더 필요하기 때문에 답변을 주신 것으로 생각합니다. 봇이 크롤링 할 수없는 로그인 한 사용자의 콘텐츠를 가질 수 있습니다. :) –