치료는 피셔로 대체 될 수 있습니까?

Question

나는 Scrapy 웹 스크래핑 프레임 워크를 상당히 광범위하게 사용했지만, 최근에는 pyspider이라는 또 다른 프레임 워크/시스템이 있다는 것을 발견했습니다. github 페이지에 따르면, 이는 신선하고 적극적으로 개발되고 인기가 있습니다.

pyspider의 홈 페이지는 몇 가지가 지원되고 나열 아웃 - 오브 - 박스 :

• 스크립트 편집기, 작업 모니터, 프로젝트 관리자 및 결과 뷰어

  강력한 UI를

• 자바 스크립트 페이지가 지원됩니다!

• 작업의 우선 순위는,

이들은 Scrapy 자체 아무튼 그 일이 정기 간행물, 시도 및 (업데이트 시간 같은) 인덱스 페이지

분산 아키텍처의 연령 표시하여 재 크롤 제공하지만, portia (웹 UI의 경우), scrapyjs (js 페이지의 경우) 및 scrapyd (API를 통한 배포 및 배포)의 도움으로 가능합니다.

pyspider만으로도 이러한 도구를 모두 대체 할 수 있습니까? 즉, pyspider은 Scrapy에 대한 직접적인 대안입니까? 그렇지 않은 경우 어떤 유스 케이스가 적용됩니까?

^{나는 "너무 광범위하다"또는 "의견을 바탕으로 한"라인을 넘지 않기를 바랍니다.}

Answer 1

pyspider와 Scrapy는 웹 스크래핑과 동일한 목적을 가지고 있지만이를 수행하는 것과는 다른 견해를 가지고 있습니다.

• 거미는 WWW가 죽을 때까지 멈추지 않아야합니다. (정보가 변경되고, 데이터가 웹 사이트에 업데이트하고, 거미 최신 데이터를 긁어 할 수있는 능력과 책임을 가져야한다. pyspider이 URL 데이터베이스, 강력한 스케줄러, @every, age 등이 이유입니다 ..)

• pyspider는 서비스입니다 프레임 워크 이상. (구성 요소가 격리 된 프로세스로 실행 중이고버전도 서비스로 실행 중이고 파이썬 환경이 필요하지는 않지만 브라우저는 가져 오기 또는 예약에 대한 모든 것이 시작 매개 변수 또는 전역 구성, API가 아닌 API를 통해 스크립트에 의해 제어됩니다. 프로젝트는 pyspider 등으로 관리됩니다.)

• pyspider는 스파이더 시스템입니다.

및

• on_startstart_url
• token bucket 트래픽 제어 대 대 (모든 구성 요소를 교체 할 수 있습니다, 심지어는 C/C++/Java 또는 더 나은 성능 또는 더 큰 용량을 어떤 언어로 개발) download_delay
• return json 대대 class Item
• 메시지 큐
• 내장 된 URL 데이터베이스 set
• 지속성 대에서 메모리 대
• PyQuery + 당신이 내장 된 CSS/XPath는 지원

사실, 내가 언급하지 않은 대처럼 제 3 패키지 Scrapy의 많은 부분. pyspider는 Scrapy와 정말로 다릅니다.

하지만, 왜 try it yourself이 아닌가요? pyspider도 fast이며 사용하기 쉬운 API가 있으며 설치하지 않고 사용해 볼 수 있습니다.