클라이언트 측 파일의 서버 측에 System.OutOfMemoryException이 있습니다.

Question

클라이언트에서 데이터를 가져 와서 로컬 호스트의 로컬 드라이브에 저장하고 있습니다. 221MB의 파일을 검사했지만 1Gb의 파일 테스트에서 다음 예외가 발생했습니다.

형 'System.OutOfMemoryException'처리되지 않은 예외가 mscorlib.dll 다음

발생 예외 밖으로 줄기 서버 측의 코드이다.

업데이트]

서버 :

 public void Thread() 
     { 
      TcpListener tcpListener = new TcpListener(ipaddr, port); 
      tcpListener.Start(); 
      MessageBox.Show("Listening on port" + port);  
      TcpClient client=new TcpClient(); 
      int bufferSize = 1024; 
      NetworkStream netStream; 
      int bytesRead = 0; 
      int allBytesRead = 0; 

      // Start listening 
      tcpListener.Start(); 

      // Accept client 
      client = tcpListener.AcceptTcpClient(); 
      netStream = client.GetStream(); 

      // Read length of incoming data to reserver buffer for it 
      byte[] length = new byte[4]; 
      bytesRead = netStream.Read(length, 0, 4); 
      int dataLength = BitConverter.ToInt32(length,0); 

     // Read the data 
      int bytesLeft = dataLength; 
      byte[] data = new byte[dataLength]; 

      while (bytesLeft > 0) 
      { 

       int nextPacketSize = (bytesLeft > bufferSize) ? bufferSize : bytesLeft; 

       bytesRead = netStream.Read(data, allBytesRead, nextPacketSize); 
       allBytesRead += bytesRead; 
       bytesLeft -= bytesRead; 

      } 

      // Save to desktop 
      File.WriteAllBytes(@"D:\LALA\Miscellaneous\" + shortFileName, data); 

      // Clean up 
      netStream.Close(); 
      client.Close(); 

    } 

내가 데이터를 다음 클라이언트 측에서 먼저 파일 크기를 얻고있다.

1). 버퍼 크기 나 다른 기법을 늘려야합니까?

2). File.WriteAllBytes() 및 File.ReadAllBytes()이 차단되어 PC가 멈추는 것처럼 보입니다. 서버 쪽에서받은 파일의 진행 상태를 알려주는 비동기 메소드가 있습니다.

Answer 1

디스크에 기록하기 전에 전체 내용을 메모리로 읽을 필요가 없습니다. 그냥 FileStream에 네트워크 스트림에서 직접 복사하는 대신 명시 적으로 netStream.Close()를 호출, 당신이 using 문을 사용한다

byte[] length = new byte[4]; 
// TODO: Validate that bytesRead is 4 after this... it's unlikely but *possible* 
// that you might not read the whole length in one go. 
bytesRead = netStream.Read(length, 0, 4); 
int bytesLeft = BitConverter.ToInt32(length,0); 

using (var output = File.Create(@"D:\Javed\Miscellaneous\" + shortFileName)) 
{ 
    netStream.CopyTo(output, bytesLeft); 
} 

참고 :

using (Stream netStream = ...) 
{ 
    // Read from it 
} 

스트림이 경우에도 종료됩니다 그런 식으로 예외가 throw됩니다.

Answer 2

CLR은 개체 당 제한이 2GB 미만입니다. 그러나 이것이 이론입니다. 실제로 할당 할 수있는 메모리 양은 프레임 워크가 할당 할 수있는 메모리 양에 따라 다릅니다. 나는 1GB 데이터 테이블을 할당 할 수 있기를 기대하지는 않는다. 더 작은 테이블을 할당하고 데이터를 청크로 디스크 파일에 기록해야합니다.

Answer 3

디스크에 덤프하기 전에 전체 파일을 메모리에 저장하려고하기 때문에 "메모리 부족"예외가 발생합니다. 파일에 쓸 때 전체 파일을 메모리에 저장할 필요가 없기 때문에 차선책입니다. 블록 단위로 블록 단위로 읽을 수 있으며 이동 도중 쓸 수 있습니다. 당신이 CopyToAsync을 사용할 수 있습니다 당신이 할 수있는 방법을 줄 것이다, 너무,

// Read and ignore the initial four bytes of length from the stream 
byte[] ignore = new byte[4]; 
int bytesRead = 0; 
do { 
    // This should complete in a single call, but the API requires you 
    // to do it in a loop. 
    bytesRead += netStream.Read(ignore, bytesRead, 4-bytesRead); 
} while (bytesRead != 4); 
// Copy the rest of the stream to a file 
using (var fs = new FileStream(@"D:\Javed\Miscellaneous\" + shortFileName, FileMode.Create)) { 
    netStream.CopyTo(fs); 
} 
netStream.Close(); 

는 .NET 4.5을 시작으로 : .NET 4.0을 시작으로

당신은 몇 줄의 코드에서 이러한 목표를 달성하기 위해 Stream.CopyTo 방법을 사용할 수 있습니다 비동기 적으로 읽고 쓰는 일.

스트림에서 처음 4 바이트를 떨어 뜨리는 코드에 유의하십시오. 이는 "페이로드"바이트와 함께 스트림의 길이를 쓰는 것을 피하기 위해 수행됩니다. 네트워크 프로토콜을 제어 할 수있는 경우 송신 측에서 스트림의 길이를 접두어로 사용하지 않도록 변경하고 수신 측에서 읽고 무시하는 코드를 제거 할 수 있습니다.