웹 크롤러를 PHP로 만들기

Question

PHP로 웹 크롤러를 만들고 싶지만, 아직도 혼란 스럽네요. 나는 일할 수있는 튜토리얼을 찾지 못했습니다.

누구든지 PHP로 크롤러를 만드는 방법을 알려줄 수 있습니까?

Answer 1

웹 크롤러를 구축하는 것은 원하는 페이지 및 다른 페이지로의 링크 및 그 링크를 따라 페이지를 여는 것입니다. 페이지를 읽으려면 fopen() 함수를 살펴보아야합니다. 페이지 식별 (링크 식별 포함)에 대해서는 regular expressions을 참조하십시오.

Answer 2

또한 당신이 처음이 PHP 오픈 소스 sphider php search engine

Answer 3

에서 시작할 수 있습니다, 당신은 스스로에게 물어 방법이 크롤러 작업 것?

PHP의 일반적인 용도는 웹 페이지 (예 : HTML 코드)를 동적으로 준비하는 것입니다. PHP는 HTML 코드를 생성하고 서버는 준비된 문서를 사용자에게 보냅니다. 이것은 사용자가 요청할 때 수행됩니다. 일반적으로 사용자가 웹 페이지를 열면 웹 크롤러가 실행되고 내 의견으로는 크롤링에 너무 많은 시간이 걸리므로 사용자가 기다려야하므로 이해가되지 않습니다.

페이지의 일부를 크롤링 할 가능성이 있습니다. 이 경우 일부 데이터베이스에 내용을 저장하고 PHP를 사용하여 db를 쿼리 할 수 ​​있습니다. 그러나 db 엔진은 이미 모든 컨텐츠를 인덱싱하고 필요한 모든 것을 찾을 수 있기 때문에 크롤러가 아닙니다.

세 번째 방법은 커맨드 라인 (Windows 및 Linux)에서 PHP 프로그램을 실행할 수 있으므로 사용자가 아닌 사용자가 크롤러를 실행할 수 있습니다. 이를 달성하는 방법에 대한 자세한 내용은 quinxorin's answer을 참조하십시오. 이 대답은 주제가 상당히 넓어서 짧습니다.

compile PHP programs 일 수도 있습니다.

초보자 인 경우 제 생각에는 그런 큰 작업으로 시작하지 않는 것이 좋습니다. 먼저, PHP 간단한 웹 페이지로 만드는 법을 배우십시오. 그러면 이제 크롤러의 제작 방법이 나옵니다.