2012-05-20 3 views
-1

루비의 말미잘과 nokogiri 라이브러리를 사용하여 전자 상거래 사이트에서 제품을 긁을 수 있습니까?ruby ​​/ anemone/nokogiri 사이트에서 제품을 긁는 방법

나는 nokogiri를 사용하여 각 제품 페이지에서 필요한 데이터를 가져 오는 방법을 알고 있지만 말미잘/nokogiri를 사이트를 크롤링하고 모든 제품 페이지를 잡는 방법을 알아낼 수 없습니다.

가 올바른 방향으로 푸시가 많은

+1

운 좋게도 말미잘이 제대로 작동하지 않습니다. 나는 그것을 몇 번 시도했지만 포기하고 대신 매 시간마다 기계를 사용했습니다. – pguardiario

+1

[무엇을 시도해 봤습니까?] (http://mattgemmell.com/2008/12/08/what-have-you-tried/) 코드가 무엇입니까? 귀하의 질문은 무엇인가? – Phrogz

+0

http://stackoverflow.com/questions/10679058/ruby-scraper-how-to-export-to-csv – Dan

답변

0

을 주시면 감사하겠습니다 내 문제를 알아 냈어. 첫째, 말미잘이 모든 페이지를 크롤링하지 않는 것 같습니다. 이것은 내가 원하는 페이지가 하위 도메인 아래에 있었기 때문에 내가 말미잘에 메인 도메인과 별도로 크롤링하도록 지시해야했기 때문입니다. 둘째, 어떤 페이지가 실제로 제품 페이지 였는지 (따라서 파싱해야 할 필요가 있는지)를 결정할 방법이 필요했습니다. 나는 내가 원했던 필드 (sku number) 중 하나를 파싱 한 다음 RegEX가있는 sku인지 테스트했다.

관련 문제