Scrapy를 사용하여 테이블에서 데이터를 추출하려고합니다.

Question

Vista 64 비트에서 Python.org 버전 2.7 64 비트를 사용하고 있습니다. 텍스트를 추출하는 데 현재 잘 작동하는 현재 Scrapy 코드가 있지만 웹 사이트의 테이블에서 데이터를 얻는 방법에 대해서는 조금 꼼짝도하지 않습니다. 나는 온라인으로 해답을 찾았지만 여전히 확실하지 않다. 예를 들어, 나는 웨인 루니의 goalscoring 통계이 테이블에 포함 된 데이터 좀하고 싶습니다 :

from scrapy.spider import Spider 
from scrapy.selector import Selector 
from scrapy.utils.markup import remove_tags 
from scrapy.cmdline import execute 
import re 


class MySpider(Spider): 
    name = "Goals" 
    allowed_domains = ["whoscored.com"] 
    start_urls = ["http://www.whoscored.com/Players/3859/Fixtures/Wayne-Rooney"] 

    def parse(self, response): 
     titles = response.selector.xpath("normalize-space(//title)") 
     for titles in titles: 

      body = response.xpath("//p").extract() 
      body2 = "".join(body) 

      print remove_tags(body2).encode('utf-8') 

execute(['scrapy','crawl','goals']) 

은 무엇 구문에 사용할 필요합니까 :

http://www.whoscored.com/Players/3859/Fixtures/Wayne-Rooney 내가 현재 가지고있는 코드는이가 표 형식의 데이터를 얻기위한 xpath() 문

감사

Answer 1

난 그냥 페이지 링크를보고 난 당신이 XPath 식을 통해 원하는 경기 대회의 테이블의 모든 행을 가지고 : '//table[@id="player-fixture"]//tr[td[@class="tournament"]]'합니다.

• //table[@id="player-fixture"]을 :

  나는이 XPath 식의 각 부분을 설명하려고합니다 해당 페이지에서 검사 할 수있는 id 속성 player-fixture와 전체 테이블을 검색 할 수 있습니다.

• //tr[td[@class="tournament"]] : 원하는 모든 일치 정보로 모든 행을 검색하십시오.

//tr[td[@class="tournament"]] Xpath 표현식도 사용할 수 있습니다. 하지만 나는 그 표현으로 말한 것처럼 이전 표현을 사용하는 것이 더 일관성이 있다고 생각합니다. id이 고유 한 특정 테이블 (tr) 아래의 모든 행 (tr)을 원한다고 가정합니다 (player-fixture).

모든 행을 가져온 후에는 반복하여 각 행 항목에서 필요한 모든 정보를 얻을 수 있습니다.

Answer 2

데이터를 스크래핑하려면 대개 테이블을 식별 한 다음 행을 반복하십시오.

from scrapy.spider import Spider 
from scrapy.http import Request 
from myproject.items import Fixture 

class GoalSpider(Spider): 
    name = "goal" 
    allowed_domains = ["whoscored.com"] 
    start_urls = (
     'http://www.whoscored.com/', 
     ) 

    def parse(self, response): 
     return Request(
      url="http://www.whoscored.com/Players/3859/Fixtures/Wayne-Rooney", 
      callback=self.parse_fixtures 
     ) 

    def parse_fixtures(self,response): 
     sel = response.selector 
     for tr in sel.css("table#player-fixture>tbody>tr"): 
      item = Fixture() 
      item['tournament'] = tr.xpath('td[@class="tournament"]/span/a/text()').extract() 
      item['date'] = tr.xpath('td[@class="date"]/text()').extract() 
      item['team_home'] = tr.xpath('td[@class="team home "]/a/text()').extract() 
      yield item 

는 첫째, 나는 이상 sel.css("table#player-fixture>tbody>tr") 및 루프 데이터 행을 식별 : 여기

<table id="thistable"> 
    <tr> 
    <th>Header1</th> 
    <th>Header2</th> 
    </tr> 
    <tr> 
    <td>data1</td> 
    <td>data2</td> 
    </tr> 
</table> 

이 고정 테이블을 분석하는 방법의 예이다 : 이와 같은 HTML 테이블은 일반적으로이 형식은 결과를 추출한 다음 데이터를 추출하십시오.

편집 : items.py 당신은이 기호와 이름 연관이 무엇인지 알고 있어야 할 각 기호에 대한 모든의 처음에 (http://doc.scrapy.org/en/latest/topics/items.html)

class Fixture(Item): 
    tournament = Field() 
    date = Field() 
    team_home = Field() 

Answer 3

. 예를 들어 목표의 경우 제목 속성이 "목표"이고 제목 속성이 인 <span> 요소가 있고 기호 보조를 위해 인 <span> 요소를 보았습니다.

이러한 정보를 고려하면 검색 할 기호와 관련된 원하는 제목 이름이있는 범위가 있으면 검색된 각 행을 확인할 수 있습니다.그것은이 행 내부 목표 문자가 의미

for row in response.selector.xpath(
      '//table[@id="player-fixture"]//tr[td[@class="tournament"]]'): 
    # Is this row contains goal symbols? 
    list_of_goals = row.xpath('//span[@title="Goal"') 
    if list_of_goals: 
     # Output goals text. 
    . 
    . 
    . 

을 그것이 빈 목록을 검색되지 않은 경우 :

은 벨으로 표현 //span[@title="Goal"를 사용하여이 행을 평가 후면 수있는 모든 목표를 행의 문자를 얻으려면. 따라서 위에 나온 반환 범위 목록의 길이만큼 텍스트의 목표 수를 출력 할 수 있습니다.