wampserver에서 java로 파일 다운로드

Question

자바 다운로더를 만들고 내 wampserver에서 900MB 파일을 다운로드하면 올바르게 작동하지만 램 사용량을 확인하면 그만큼 늘어납니다. 그 이유는 무엇입니까? IDM을 사용하여 동일한 파일 형식을 내 wampserver에 다운로드했는데 많은 램을 사용하지 않았습니다 프로세스 및 디스크 사용량이 약 50MB 및 5 % 컵 인 자바 다운로더를 볼 때 성능 탭에서 성능을 볼 때 RAM이 많이 증가합니다. http://i.stack.imgur.com/zfxNv.png

내 응용 프로그램이 동시에이 파일을 다운로드 8 스레드를 만들이 내 코드 :

private void downloadFile() { 
    try { 
     this.response = this.con.getInputStream(); 
     this.bis = new BufferedInputStream(this.response, 32 * 1024); 
       this.responseContentSize = this.con.getContentLength(); 


     if (this.responseContentSize == (this.end_range - this.start_range) + 1) { 

         int MAX_BUFFER_SIZE = 32*1024; 
      byte buffer[] = new byte[MAX_BUFFER_SIZE]; 
      makeTmpFile(); 
      out = new FileOutputStream(this.tmpdir + this.tmpFilename); 
      bos = new BufferedOutputStream(out, 32 * 1024); 

      while (true) { 

       int r = this.bis.read(buffer, 0, this.MAX_BUFFER_SIZE); 
       if (r == -1) 
        break; 

       bos.write(buffer, 0, r); 
       downloadedBytes += r; 

      } 

      if (bos != null) 
       bos.close(); 
      if (out != null) 
       out.close(); 
      if (bis != null) 
       bis.close(); 
      if (response != null) 
       response.close(); 

     } 
    } catch (IOException e) { 
     sharedDownloadStatus.setCell(this.threadIndex, STATUS, 0);//error 
     log.setLog("func : downloadFile =>\n couldnt download file\n" + e.getMessage()); 
    } 

} 

Answer 1

당신은 각 청크에 대한 데이터 버퍼를 할당

이 성능 그림입니다. 그들은 가비지 컬렉터가 일시적으로 많은 양의 메모리를 차지합니다.

스레드 당 하나의 데이터 버퍼 만 보유하십시오. (예를 들어, ThreadLocal 사용).

Answer 2

jvisualvm.exe 프로그램을 사용하면 메모리 소비를 확인하고 할당 된 부분을 볼 수 있습니다. jvisualvm은 jdk 설치의 bin 폴더에 있습니다.

는 Heres는 내가 코드를 변경 어떻게 할 것인지 :

• 이 BufferedInput/BufferedOutput 없애 스트림. 이러한 버퍼링 된 스트림은 프로그램에서 불필요하며 추가 메모리 할당 (버퍼링 된 스트림 당 32kb)을 추가하는 것일 뿐이지 만 필요하지는 않습니다.

• 8 개의 스레드를 사용하지 마십시오. 네트워크를 통해 매우 큰 파일을 전송할 수있는 파일 다운로드 응용 프로그램을 작성했으며 최적의 스레드 수는 2 또는 3입니다. 따라서 인터넷 연결보다 파일을 더 빠르게 다운로드 할 수 없습니다 여분의 스레드에서 아무것도하지만 메모리와 시간을 낭비하지 않습니다.

• 작은 버퍼를 사용하십시오. 32kb 버퍼가 상당히 큽니다. 1kb와 같은 더 작은 버퍼를 사용하여 테스트 할 것입니다.

• Java 응용 프로그램 메모리/CPU 사용량과 함께 wammp memory/cpu 사용을 혼동하지 마십시오. 성능 탭 대신 Windows 작업 관리자의 '프로세스'탭을 사용하십시오.

그게 내가 당신의 전체 프로그램을 가질 수는 없지만 테스트와 디버깅 성능은 당신에게 달렸지 만 이것들은 내가 할 일이라고 말했습니다. 아래는 가능한 한 많이 수정 한 코드입니다.

---

private void downloadFile() { 
    try { 
     this.response = this.con.getInputStream(); 
     this.responseContentSize = this.con.getContentLength(); 


     if (this.responseContentSize == (this.end_range - this.start_range) + 1) { 

      int MAX_BUFFER_SIZE = 1024; 
      byte buffer[] = new byte[MAX_BUFFER_SIZE]; 
      makeTmpFile(); 
      out = new FileOutputStream(this.tmpdir + this.tmpFilename); 

      int r = 0; 
      while ((r = response.read(buffer)) != -1) { 
       out.write(buffer, 0, r); 
       downloadedBytes = r; 

      } 
     } 
    } catch (IOException e) { 
     sharedDownloadStatus.setCell(this.threadIndex, STATUS, 0);//error 
     log.setLog("func : downloadFile =>\n couldnt download file\n" + e.getMessage()); 
    } finally { 
     if (out != null) 
      out.close(); 
     if (response != null) 
      response.close(); 
    } 

}