파이썬으로 웹 사이트의 약 페이지를 긁습니다

Question

연구를 위해 일부 웹 사이트에서 일부 콘텐츠를 긁어서보고 싶습니다. 파이썬과 웹 스크래핑을 사용하면 프로세스가 빨라지 길 바랍니다. 하나의 작은 프로젝트에서 XML을 한 형식에서 다른 형식으로 변환하기 전에 저는 파이썬과 아름다운 수프를 사용했습니다.

Answer 1

추출 할 데이터의 구조가 중복되는 방식에 따라 여러 가지 도구를 사용할 수 있습니다.

• 동일한 DOM 구조에 항상 저장된 데이터를 추출하려는 경우 Scrapy이 작업을 수행 할 수 있습니다.
• 데이터가 희박하고 여러 위치에 저장되어있는 경우 BeautfulSoup4 또는 lxml 일 수 있습니다. 2012 튜토리얼 웹 스크래핑에 대한
  • PyCon : 데이터가 일부 JS 코드에 의해 생성되는 경우
  • , 당신은 유용한 찾을 수있는 자원의 몇은 여기 Selenium

  를 보라 http://pyvideo.org/video/609/web-scraping-reliably-and-efficiently-pull-data/

• http://isbullsh.it/2012/04/Web-crawling-with-scrapy/는
• http://www.packtpub.com/article/web-scraping-with-python
• 01,230 (전체 공개, 내가 쓴)