2014-09-24 4 views
0

크롤링하려는 웹 사이트가 있습니다. 여기에는 각 페이지에서 추출 할 항목이 여러 개 있습니다.한 페이지에서 여러 항목을 추출하는 방법은 무엇입니까? Portia/Scrapy Spider

온라인 옐로우 페이지와 매우 유사합니다. 여기에는 각 항목의 제목, 전화 번호 및 카테고리가 포함되어 있습니다 ... 전체 페이지를 가져 오는 데 필요한 정보가 분명하지 않기 때문에 항목이 목록에 있습니다. 3 개의 항목을 포함하는 일부 페이지 및 10 개를 포함하는 다른 페이지

- 편집 1-- 많은 웹 사이트를 성공적으로 긁어 냈지만 한 항목 만 포함 된 페이지로 이동할 수있었습니다. 이것은 여기에 가능하지 않으며 다른 템플릿이 필요하기 때문에 여러 항목을 하나의 항목으로 반환하거나 임의 비트를 한 조각으로 반환합니다.

+0

시도해 보셨습니까? – Tushar

답변

0

포시는 아직 페이지 당 여러 항목을 추출하는 것을 지원하지 않습니다. issue for it이 있으며 곧 완료 될 것이라고하는 충분한 관심이 있습니다.

한편으로는 '변형'을 사용하여 상위 항목 내에 항목을 중첩하고 후 처리 단계에서 개별 항목으로 나중에 분할하는 방법이 있습니다.

+0

감사합니다. 나는 아마도 그것이 가능하지 않았을 수도 있다고 생각했다. 변종을 살펴 보겠습니다. – Dan

+0

내 경험을 추가하기 만하면이 작업을 수행하지 못하고 대신 치료를 사용하게되었습니다. –

관련 문제