웹 크롤러를 만들기 위해 PHP 또는 Python을 사용해야합니까?

-1

나는 웹 크롤링에 대해 배우고 있으며, php 나 python을 사용할 지 모르겠다. 나는 다른 웹 사이트에서 정보를 가져 와서 자동으로 업데이트하는 웹 사이트를 만들고 싶습니다. 그리고 파이썬으로 괜찮은 웹 사이트를 만들 수 있습니까? 또는 파이썬에서 html이나 php로 정보를 붙여 넣어야합니까?웹 크롤러를 만들기 위해 PHP 또는 Python을 사용해야합니까?

출처

2014-09-07 Yagel

사용자는 [Scrapy] (http://scrapy.org/)의 빠른 웹 크롤링 프레임 워크를 사용할 수 있습니다. –

저는 웹 크롤러를 만들기 위해 수년 동안 PHP를 사용해 왔습니다. 좋은 리소스 사용 등을 요구하지 않는 한 PHP는 그 일을 할 것입니다. 파이썬은 조금 다릅니다. 더 많은 시간이 있으면 다른 언어를 사용하고 싶지만, C, golang 또는 Bash조차도 큰 도움이됩니다. 그러나 간단한 PHP 나 Python으로 충분합니다. 나는 당신이 가장 편한 것과 함께 갈 것입니다. –

약간 뉘앙스에 따라 다릅니다. PHP는 웹 사이트를 개발하기 위해 주로 사용되는 언어입니다 (웹 사이트를 제공하기 위해). 파이썬은 프로그래밍 웹 사이트와 다른 응용 프로그램 프로그래밍에 사용됩니다. 따라서 응용 프로그램 (예 : 스크래핑)이 얼마나 될지 또는 (프레젠테이션) 웹 사이트에 얼마나 많이 포함될 것인가에 달려 있습니다.

파이썬은 제 3 자 라이브러리 (Scrapy, BeautifulSoup, lxml, request ...)가 많고 URL을 요청하기위한 라이브러리가 내장되어있어 작업을 스크래핑하는 데 매우 적합합니다. PHP를 사용하면 다른 웹 사이트를 요청하는 것이 더 어려워집니다. 마찬가지로, 그것은 주로 자신의 웹 사이트를 구축에 초점을 맞추고있다.

물론 각 언어의 기술 수준에 따라 다릅니다.

프리젠 테이션 로직 (자신의 웹 사이트)
(다른 웹 사이트를 긁어) 논리를 긁어

두 제품 모두를 통해 연결됩니다 : 어쨌든 두 부분으로 응용 프로그램을 분할 것

가

데이터 베이스. 스크래핑 논리는 정보를 수집하여 데이터베이스에 저장합니다. 프리젠 테이션 로직은 데이터베이스에서 정보를 가져와 사용자에게 HTML로 표시합니다.

근근이 살아가는 부분을 위해서는 PHP를 통한 파이썬을 선호하고 싶습니다. 그리고 프리젠 테이션 부분에서는 실제로 중요하지 않으며 선호도 나 지식의 문제입니다.

출처

2014-09-07 20:39:00 Aufziehvogel

thx. 정확히 얼마나 비단뱀을 무서워하고 html이나 php로 표시 할 수 있습니까? – Yagel

중간에 데이터베이스가 있습니다. 데이터베이스의 데이터를 사용하여 모든 것을 표시하는 웹 사이트라고 생각하면됩니다. 그러나 데이터베이스를 계속 채우는 두 번째 프로그램 실행이 있습니다. – Aufziehvogel

웹 크롤러를 만들기 위해 PHP 또는 Python을 사용해야합니까?

답변

관련 문제