node.js에서 디렉토리를 스트리밍하는 방법은 무엇입니까?

Question

내가 100K + 또는 500k + 파일을 포함하는 디렉토리가 있다고 가정하십시오. fs.readdir으로 디렉토리를 읽고 싶지만 스트림이 아닌 비동기입니다. 누군가는 비동기 전에 전체 파일 목록을 읽은 메모리를 사용한다고 말합니다.

그래서 해결책은 무엇입니까? 나는 스트림 접근 방식으로 readdir을 원한다. 그럴 수있어?

Answer 1

현대 컴퓨터에서 500K 파일이있는 디렉토리를 탐색하는 것은 아무 것도 아닙니다. fs.readdir이 Node.js에서 비동기 적으로 수행되는 경우 지정된 디렉토리의 파일 이름 목록을 읽는 것입니다. 파일 내용을 읽지 않습니다. 나는 방금 Dir에서 700K 파일로 테스트했습니다. 이 파일 이름 목록을로드하는 데는 단지 21MB의 메모리 만 필요합니다.

일단이 파일 이름 목록을로드하면 동시성에 대한 제한을 설정하여 파일 이름을 하나씩 또는 병렬로 탐색하면 쉽게 모두 사용할 수 있습니다. 예 :

var async = require('async'), 
    fs = require('fs'), 
    path = require('path'), 
    parentDir = '/home/user'; 

async.waterfall([ 
    function (cb) { 
     fs.readdir(parentDir, cb); 
    }, 
    function (files, cb) { 
     // `files` is just an array of file names, not full path. 

     // Consume 10 files in parallel. 
     async.eachLimit(files, 10, function (filename, done) { 
      var filePath = path.join(parentDir, filename); 

      // Do with this files whatever you want. 
      // Then don't forget to call `done()`. 
      done(); 
     }, cb); 
    } 
], function (err) { 
    err && console.trace(err); 

    console.log('Done'); 
});