거기에 어떤 자바 스크립트 웹 크롤러 프레임 워크입니까

Question

자바 스크립트 웹 크롤러 프레임 워크가 있습니까?

Answer 1

PhantomJS을 사용해보십시오. 정확하게 크롤러는 아니지만 그 목적으로 쉽게 사용할 수 있습니다. 스크린 샷을 저장할 수있는 기능이있는 완전한 기능의 WebKit 엔진이 있습니다. 간단한 명령 줄 JS 인터프리터로 작동합니다.

Answer 2

서버 쪽?

시도 노드 - 크롤러는 : https://github.com/joshfire/node-crawler

Answer 3

새로운 바로 Node.js를 위해 출시 된 프레임 워크 spider라고있다. 내부적으로 jQuery를 사용하여 웹 사이트의 HTML 페이지를 크롤링/색인화합니다. API 및 구성은 특히 jQuery를 이미 알고있는 경우에 특히 유용합니다.

var spider = require('../main'); 

spider() 
    .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) { 
    $('a').spider(); 
    }) 
    .route('travel.nytimes.com', '*', function (window, $) { 
    $('a').spider(); 
    if (this.fromCache) return; 

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] } 
    article.body = '' 
    $('div.articleBody').each(function() { 
     article.body += this.outerHTML; 
    }) 
    $('div#abColumn img').each(function() { 
     var p = $(this).attr('src'); 
     if (p.indexOf('ADS') === -1) { 
     article.photos.push(p); 
     } 
    }) 
    console.log(article); 
    }) 
    .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) { 
    var article = {title: $('h1.entry-title').text()} 
    console.log($('div.entry-content').html()) 
    }) 
    .get('http://www.nytimes.com/pages/dining/index.html') 
    .log('info') 
    ;