웹 사이트 및 동적 URL 크롤링

검색 엔진 로봇이 동적으로 생성 된 URL을 크롤링합니까? 이 말은 PHP에서 생성 된 html 페이지를 URL에있는 GET 변수를 기반으로합니다. 내가 여기 테스트 크롤러를 사용하여 내 웹 사이트 크롤링을 시도했다웹 사이트 및 동적 URL 크롤링

http://www.mywebsite.com/view.php?name=something 
http://www.mywebsite.com/view.php?name=somethingelse 
http://www.mywebsite.com/view.php?name=something

: 링크는 다음과 같이 보일 것이다 http://robhammond.co/tools/seo-crawler하지만 그것은 단지 헤더에 하나의 변수로 한 번 내보기 페이지를 방문.

내 웹 사이트의 대부분의 콘텐츠는 데이터베이스의 GET 변수에 의해 생성되므로 검색 엔진에서 해당 페이지를 크롤링하고 싶습니다.

출처

2015-02-06 Simon H

순수한 SEO 질문이 프로그래밍과 관련이 없으므로이 질문을 주제와 관련이 없도록 닫으려고합니다. [웹 마스터] (http://webmasters.stackexchange.com/help/on-topic)의 주제가 될 수 있습니다. – Quentin

'.htaccess' 파일을 사용하여 사이트에'www.mywebsite.com/something' 형식의 멋진 URL을 제공하면 사용자가 입력하기 쉽고 크롤러에 대해 더 직관적입니다. – halfer

일부 검색 엔진에서는 일부 검색을 수행하지 않으며 일부 검색 엔진에서는 그렇지 않습니다. 하나 구글은 동적으로 생성 된 페이지 포함 않습니다 https://support.google.com/webmasters/answer/35769?hl=en

것은 당신이 하지이 차단되어 볼 수있는 크롤러 싶어 파일을 확인하기 위해 의 robots.txt 파일을 확인하십시오, 그리고 그 색인이 원하는 당신이을 파일 차단되지 않습니다.

또한 인덱싱하려는 모든 페이지가 다른 페이지를 통해 링크되어 있는지, 사이트 맵이 있는지, 사이트를 색인 할 검색 엔진에 개별 URL을 제출하는지 확인하십시오.

출처

2015-02-06 16:32:34

예, 검색 엔진은 해당 페이지를 찾을 수 있다고 가정하고 크롤링합니다. 가장 좋은 방법은 웹 사이트의 페이지, 특히 액세스 할 수있는 페이지 또는 적어도 홈 페이지에서 통과 할 수있는 페이지에 대한 링크를 만드는 것입니다.

출처

2015-02-06 16:34:02 drj

웹 사이트 및 동적 URL 크롤링

답변

관련 문제