2012-01-09 6 views
0

웹 사이트는 브라우저의 사용자뿐만 아니라 프로그램, 봇 및 크롤러도 액세스 할 수 있습니다. 파이썬 프로그램을 통해 파이썬 프로그램에서 생성 된 정적이 아닌 HTML 페이지를 병합, 결합 및 반복하여 파이썬으로 Google 애플 리케이션 엔진에서 실행되는 웹 사이트가 있습니다. 그러나 이러한 페이지를 생성하는 데 사용자 입력이 필요하지 않은 점에서 동적 페이지도 아닙니다. 파이썬에 의한 컨텐트 생성은 편의성, 간결함 및 유지 보수 용이성을 전제로하며 URL로 완전히 설정됩니다.내 웹 사이트가 프로그램에 어떻게 나타나는지 테스트하십시오.

일부 검색 엔진은 동적 페이지를 색인 생성 할 수 없습니다. 이 페이지들이 '동적'으로 분류되는지 알고 싶습니다. 즉, 해당 봇의 일반적인 메타 데이터와 콘텐츠를 크롤링하거나 색인 생성 할 수 있는지 여부는 알고 싶습니다. 일반적으로 URL이 봇에 표시되는 방식을 확인하고 싶습니다. 또는 크롤러가 검색 엔진에서 사용하는 것과 유사하므로 특정 URL을 크롤링 할 수없는 시점을 확인할 수 있습니다.

사용 가능한 자원이나 기술을 아는 사람이라면 정말 도움이 될 것입니다.

답변

2

Lynx은 검색 기반 브라우저에 페이지를 표시하는 방법을 보여주는 텍스트 기반 브라우저입니다. 고대의 노력과 진실.

+0

나는 Lynx에 대해 알고 있지만, 나에게 또 다른 브라우저 인 것처럼 보였으므로 결코 시도하지 않을 생각입니다. 그러나 당신의 제안에 감사 드리며, 나는 그것을 시험해보고 내가 얻은 결과를 봅니다. –

3

일부 검색 엔진은 동적 페이지를 색인 할 수 없습니다.

사실이 아닙니다. 클라이언트가 스크립트를 실행하거나 정적 파일을 읽음으로써 서버가 컨텐트를 얻었 으면 클라이언트는 알 수없고 상관하지 않습니다.

대부분의 검색 엔진은 클라이언트 측 JavaScript를 실행하지 않습니다. 대부분의 검색 엔진은 양식을 제출하지 않습니다.

콘텐츠가 HTML에있는 링크를 따라 액세스 할 수 있으면 검색 엔진이 페이지를 가져올 수 있습니다.

+0

그것은 조명, 고마워요. –

관련 문제