Node.js : 파일의 줄 수를 계산하십시오.

Question

큰 텍스트 파일을 가지고 있는데, 범위는 30MB과 10GB입니다. Node.js을 사용하여 파일의 줄 수를 계산하려면 어떻게합니까?

• 는 전체 파일을 자식 프로세스가 당신으로이 작업을 수행 할 수

Answer 1

우리없이 솔루션 보내고 화장실 :

var i; 
var count = 0; 
require('fs').createReadStream(process.argv[2]) 
    .on('data', function(chunk) { 
    for (i=0; i < chunk.length; ++i) 
     if (chunk[i] == 10) count++; 
    }) 
    .on('end', function() { 
    console.log(count); 
    }); 

은 느리게,하지만 그 정도는 예상 - Node.js를 로딩 & 시작 시간을 포함하여 140M + 파일 0.6s

iojs 1.5.0 이후

>time node countlines.js video.mp4 
619643 

real 0m0.614s 
user 0m0.489s 
sys 0m0.132s 

>time wc -l video.mp4 
619643 video.mp4 
real 0m0.133s 
user 0m0.108s 
sys 0m0.024s 

>wc -c video.mp4 
144681406 video.mp4 

Answer 2

작업을 수행 할 필요가 없습니다

메모리에 기록 할 필요가 없습니다 :

나는이 제한이 의견을 사용하는 것이 좋습니다 wc

var exec = require('child_process').exec; 

exec('wc /path/to/file', function (error, results) { 
    console.log(results); 
}); 

Answer 3

는 Buffer#indexOf() 방법이있다 Andrey Sidorov와 비교하기 위해 그것을 사용하여 '대답 :

ubuntu@server:~$ wc logs 
    7342500 27548750 427155000 logs 
ubuntu@server:~$ time wc -l logs 
7342500 logs 

real 0m0.180s 
user 0m0.088s 
sys 0m0.084s 
ubuntu@server:~$ nvm use node 
Now using node v0.12.1 
ubuntu@server:~$ time node countlines.js logs 
7342500 

real 0m2.559s 
user 0m2.200s 
sys 0m0.340s 
ubuntu@server:~$ nvm use iojs 
Now using node iojs-v1.6.2 
ubuntu@server:~$ time iojs countlines2.js logs 
7342500 

real 0m1.363s 
user 0m0.920s 
sys 0m0.424s 
ubuntu@server:~$ cat countlines.js 
var i; 
var count = 0; 
require('fs').createReadStream(process.argv[2]) 
    .on('data', function(chunk) { 
    for (i=0; i < chunk.length; ++i) 
     if (chunk[i] == 10) count++; 
    }) 
    .on('end', function() { 
    console.log(count); 
    }); 
ubuntu@server:~$ cat countlines2.js 
var i; 
var count = 0; 
require('fs').createReadStream(process.argv[2]) 
    .on('data', function(chunk) { 
    var index = -1; 
    while((index = chunk.indexOf(10, index + 1)) > -1) count++ 
    }) 
    .on('end', function() { 
    console.log(count); 
    }); 
ubuntu@server:~$ 

Answer 4

여기에 많이 중첩하지 않고 다른 방법입니다.

var fs = require('fs'); 
filePath = process.argv[2]; 
fileBuffer = fs.readFileSync(filePath); 
to_string = fileBuffer.toString(); 
split_lines = to_string.split("\n"); 
console.log(split_lines.length-1); 

Answer 5

또한 같이 IndexOf()를 사용할 수 있습니다

var index = -1; 
var count = 0; 
while ((index = chunk.indexOf(10, index + 1)) > -1) count++; 

Answer 6

var fs=require('fs'); 
filename=process.argv[2]; 
var data=fs.readFileSync(filename); 
var res=data.toString().split('\n').length; 
console.log(res-1);` 

Answer 7

는 count-lines-in-file라는 NPM 모듈이있다. 난 작은 (< 1000 라인) 파일을 위해 그것을 사용 해왔고 지금까지 훌륭하게 작동했다.

Answer 8

우리는 VM이 ​​줄 바꿈을 찾을 수 indexOf를 사용할 수 있습니다

function countFileLines(filePath){ 
    return new Promise((resolve, reject) => { 
    let lineCount = 0; 
    fs.createReadStream(filePath) 
    .on("data", (buffer) => { 
     let idx = -1; 
     lineCount--; // Because the loop will run once for idx=-1 
     do { 
     idx = buffer.indexOf(10, idx+1); 
     lineCount++; 
     } while (idx !== -1); 
    }).on("end",() => { 
     resolve(lineCount); 
    }).on("error", reject); 
    }); 
}; 

무엇이 솔루션이하는 것은 .indexOf를 사용하여 첫 번째 줄 바꿈의 위치를 ​​발견 한 것입니다. lineCount을 증가시키고 다음 위치를 찾습니다. .indexOf의 두 번째 매개 변수는 개행을 시작할 위치를 알려줍니다. 이렇게하면 버퍼의 큰 덩어리를 뛰어 넘고 있습니다. while 루프는 모든 개행마다 한 번 더 실행됩니다.

우리는 노드 런타임이 하위 수준에서 구현되고 더 빨라야하는 우리를 검색하도록합니다.

내 시스템에서는 큰 파일 (111MB)의 버퍼 길이를 초과하여 for 루프를 실행하는 것보다 약 두 배 빠릅니다.