자바에서 텍스트 파일을 메모리에로드하십시오.

Question

wiki.txt 파일이 있고 그 크기는 50MB입니다.

1. 올바른 것입니다, 나는 파일에 여러 가지 일을 할 필요가 있고 그래서 나는 성능면에서 가장 좋은 방법은 메모리에 파일을로드하는 것입니다 생각?

   File file = new File("wiki.txt"); 
   FileInputStream fileInputStream = new FileInputStream(file); 
   FileChannel fileChannel = fileInputStream.getChannel(); 
   MappedByteBuffer mapByteBuffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, file.length()); 
   System.out.println((char)mapByteBuffer.get()); 
   

가이 코드에 오류가 발생합니다 : :

이

내가 작성한 코드입니다 mapByteBuffer.get(). get() 함수에 몇 가지 옵션을 시도했지만 모두 오류가 발생하여 e.getMessage()에서 오류가 발생하지 않았습니다. 그냥 null이 있습니다.

내 텍스트 파일에 영어 단어가 포함되어 있으며이 텍스트 파일에 표현 된 단어가 검색되면 검색이 필요하다는 점에 유의해야합니다.

감사합니다.

Answer 1

MemoryMappedFile을 사용하여 파일을 메모리에서로드하는 대신 디스크에서 직접 읽는 것이 좋습니다.

RandomAccessFile file = new RandomAccessFile("wiki.txt", "r"); 
FileChannel channel = file.getChannel(); 
MappedByteBuffer buf = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1024*50); 

그런 다음 평소대로 버퍼를 읽을 수 있습니다.

Answer 2

BufferedReader를 사용하는 것이 좋습니다. 그것은 훨씬 더 빠르며 비교적 적은 리소스를 필요로합니다. 라인의 먼저 읽기 번호 :

InputStream is = new BufferedInputStream(new FileInputStream(filename)); 
byte[] chars = new byte[1024]; 
int numberOfChars = 0; 
while ((numberOfChars = is.read(chars)) != -1) 
{ 
    for (int i = 0; i < numberOfChars; ++i) 
    { 
     if (chars[i] == '\n' && numberOfChars - i != 1) 
     { 
      ++count; 
     }   
    } 
} 
count++ 
return count; // number of lines 

그런 다음 줄을 읽기 : 당신도 당신이 필요로 검색 할 수있는이 문자열에서

BufferedReader in = new BufferedReader(new FileReader(fileName)); 
for (int i = 0; i < endLine; i++) 
{ 
    String oneLine = in.readLine(); 
} 

. 포인트

Answer 3

내 답변 (1) :

그것은 당신이 파일에 수행 할 작업에 따라 달라집니다. 프로세싱이 되감기 작업 (뒤에서/전에 읽은 것을보고)을 포함하지 않는다면, 스트림으로 읽고 그것을 한 번에 처리하는 것이 가장 좋습니다 (모든 것을 메모리로로드하는 대신).

파일 전체에서 임의 액세스가 필요한 경우에도 파일 크기가 더 큰 크기로 변경되면 솔루션의 확장이 제대로 이루어지지 않을 수 있으므로 블록 파일 작업을 수행하는 것이 좋습니다. Java 1.4 이상을 사용중인 경우 RandomAccessFile 랜덤 액세스의 경우 운영 체제는 일반적으로 파일 버퍼 캐싱을 처리하므로 사용자가 직접 처리 할 필요가 없습니다.

Answer 4

메시지뿐만 아니라 전체 오류를 읽는 것이 중요합니다. 종종 실제 정보는 예외와 관련된 텍스트가 아닌 예외 이름에 있습니다.

첫 번째 바이트가 없으므로 파일이 비어 있으면 오류가 발생합니다.

참고 : 사용중인 접근 방식은 ASCII 7 비트 문자로 가정합니다. 사용할 수있는 ISO-8859-1 문자를 사용하려는 경우 (char) (byteBuffer.get() & 0xFF)

그러나 계획 문자가있는 경우 문자열을 사용하면 훨씬 간단하고 사용 속도는 느려집니다. 예 : 50MB 파일을 1 초 안에 텍스트로 읽을 수 있습니다.너무 길면 메모리 매핑 된 파일 만 사용합니다.