Node.js 메모리가 부족한 매우 큰 버퍼를 자름

Question

매우 큰 base64 인코딩 된 문자열을 바이트 (Uint8) 배열로 읽은 다음 해당 바이트 배열을 지정된 크기의 청크로 분할해야합니다. 별도로 청크. 아래 함수를 사용하면 작동하지만 .slice 또는 .toString을 호출하면 각 호출마다 힙의 메모리가 증가합니다. 왜냐하면 (나는) 그것이 버퍼의 복사본을 만들고 있기 때문입니다. 특히 큰 base64Encoded 문자열의 경우 애플리케이션의 힙 공간이 부족합니다. 이것을 특정 크기로 나누고 base64로 메모리가 부족한 상태로 인코딩하려면 어떻게해야할까요?

const process = function (reallyLargeBase64EncodedString, splitSize){ 

var theBuffer = Buffer.from(reallyLargeBase64EncodedString, 'base64'); 

//var tempBuffer = new Buffer(splitSize); 
for (var start = 0; start < theBuffer.length; start += splitSize) { 
    //for(var z = 0; z < splitSize; z++){ 
     //tempBuffer.writeUInt8(theBuffer[start+z],z); 
    //} 
    //var base64EncodedVal = tempBuffer.toString('base64'); 
    //var base64EncodedVal = theBuffer.buffer.toString('base64', start, start+splitSize); 
    var base64EncodedVal = theBuffer.slice(start,start+splitSize).toString('base64'); 
    //do stuff with the base64 encoded value 
} 

}};

Answer 1

노드의 스트리밍 인터페이스를 사용하여 큰 것을 처리하는 것이 좋습니다. base64로 인코딩 된 문자열이 파일 또는 네트워크 요청에서 오는 경우 입력에서 직접 base64-stream과 같은 base64 디코드 스트림으로 파이프 할 수 있습니다.

데이터를 청크하고 각 청크를 다시 인코딩하려면 고유 한 변환 스트림 (입력과 출력 사이에 들어오는 스트림)을 작성해야합니다.

// NOTE: the following code has been tested in node 6. 
// since it relies on the new Buffer api, it must be run in 5.10+ 
var Transform = require('stream').Transform; 

class ChunkEncode extends Transform { 
    constructor(options){ 
     super(options); 
     this.splitSize = options.splitSize; 
     this.buffer = Buffer.alloc(0); 
    } 

    _transform(chunk, encoding, cb){ 
     // chunk is a Buffer; 
     this.buffer = Buffer.concat([this.buffer, chunk]); 
     while (this.buffer.length > this.splitSize){ 
      let chunk = this.buffer.slice(0, this.splitSize); 
      // Encode and write back to the stream. 
      this.push(chunk.toString('base64')) 
      // throw in a newline for visibility. 
      this.push('\n'); 
      // chop off `splitSize` from the start of our buffer. 
      this.buffer = this.buffer.slice(this.splitSize); 
     } 
    } 
} 

등이 보일 것이다 무언가 그럼 당신은 표준 출력에 기록합니다

var fs  = require('fs'); 
var base64 = require('base64-stream'); 

fs.createReadStream('./long-base64-string') 
.pipe(base64.decode()) 
.pipe(new ChunkEncode({splitSize : 128})) 
.pipe(process.stdout) 

같은 것을 할 수 있어야합니다,하지만 당신은 그냥 간단하게 파일이나 네트워크 스트림에 쓸 수 있습니다. 데이터를 추가로 조작해야하는 경우 쓰기 스트림을 만들면 각 데이터 덩어리가 들어올 때마다 무언가를 할 수 있습니다.