웹 사이트는 브라우저의 사용자뿐만 아니라 프로그램, 봇 및 크롤러도 액세스 할 수 있습니다. 파이썬 프로그램을 통해 파이썬 프로그램에서 생성 된 정적이 아닌 HTML 페이지를 병합, 결합 및 반복하여 파이썬으로 Google 애플 리케이션 엔진에서 실행되는 웹 사이트가 있습니다. 그러나 이러한 페이지를 생성하는 데 사용자 입력이 필요하지 않은 점에서 동적 페이지도 아닙니다. 파이썬에 의한 컨텐트 생성은 편의성, 간결함 및 유지 보수 용이성을 전제로하며 URL로 완전히 설정됩니다.내 웹 사이트가 프로그램에 어떻게 나타나는지 테스트하십시오.
일부 검색 엔진은 동적 페이지를 색인 생성 할 수 없습니다. 이 페이지들이 '동적'으로 분류되는지 알고 싶습니다. 즉, 해당 봇의 일반적인 메타 데이터와 콘텐츠를 크롤링하거나 색인 생성 할 수 있는지 여부는 알고 싶습니다. 일반적으로 URL이 봇에 표시되는 방식을 확인하고 싶습니다. 또는 크롤러가 검색 엔진에서 사용하는 것과 유사하므로 특정 URL을 크롤링 할 수없는 시점을 확인할 수 있습니다.
사용 가능한 자원이나 기술을 아는 사람이라면 정말 도움이 될 것입니다.
나는 Lynx에 대해 알고 있지만, 나에게 또 다른 브라우저 인 것처럼 보였으므로 결코 시도하지 않을 생각입니다. 그러나 당신의 제안에 감사 드리며, 나는 그것을 시험해보고 내가 얻은 결과를 봅니다. –