MATLAB에서 대용량 파일 (~ 150MB)을로드하려면 어떻게해야합니까?

Question

매트릭스 파일 형식 (예 : 4070x4070)의 대형 MATLAB 파일 (150MB)이 있습니다. 이 파일을 MATLAB에서 작업해야하지만이 파일을로드 할 수 없습니다. "메모리 부족"오류가 발생합니다. 이 파일 크기를로드 할 수있는 다른 방법이 있습니까? 32 비트 프로세서를 사용 중이며 2GB의 RAM이 있습니다. 제발 도와주세요, 나는이 문제를 다룰 때 지쳐 가고 있습니다.

Answer 1

이미지 파일이고 작업하고 싶다면 matlab block processing을 사용해보십시오. 이를 사용하여 파일의 작은 부분을로드합니다. 귀하의 기능 fun은 각 블록에 개별적으로 적용됩니다. (그 지적에 대한 @Nzbuu 덕분에)하지만 문서화되지 않은 기능 것 같다 - 경우

B = blockproc(src_filename,[M N],fun) 

그것이 xml 파일이, SAX와 함께 XML DOM Node 모드를 사용해보십시오.

또한 모든 종류의 텍스트 파일 (데이터 량 때문에) 인 경우 분리 할 외부 도구를 사용해보십시오.

Answer 2

Starting 릴리스 R2011b (ver.7.13)부터 matlab.io.MatFile에 MATFILE이라는 새 개체가 생성자로 있습니다. MAT- 파일의 변수 부분을로드하고 저장할 수 있습니다. 자세한 내용은 설명서를 참조하십시오. 다음은 행렬의 일부가 읽을 수있는 간단한 예입니다 : 원본 파일이 MAT 파일이 아닌 경우

matObj = matfile(filename); 
a = matObj.a(100:500, 200:600); 

는 있지만, 일부 텍스트 파일, 당신은 그것을 부분적으로 읽고 같은 변수에 그 부분을 저장 matfile을 사용할 수 있습니다 나중에 액세스 할 수 있도록 MAT 파일에 저장하십시오. 생성자에서 Writable 속성을 true로 설정하는 것을 잊지 마십시오. 텍스트 파일을 가정

는

탭으로 구분하고 숫자 만 포함하고, 여기에 블록으로 데이터를 읽고 MAT 파일에 저장하는 예제 스크립트입니다 : 나는 최신 버전이없는

blocksize = 100; 
startrow = 0; 
filename = 'test.mat'; 
matObj = matfile(filename,'Writable',true); 
while true 
    try 
     a = dlmread(filename,'\t',startrow,0); %# depends on your file format 
     startrow = startrow + blocksize; 
     matObj.a(startrow+(1:blocksize),:) = a; 
    catch 
     break 
    end 
end 

이제 테스트를 해보고 작동시켜야한다.

Answer 3

또한 사용자는 MATLAB의 Memory-Mapping of Data Files을 사용하여 파일 블록을 읽고 처리 한 다음 블록으로 진행하여없이 전체 파일을 한 번에 메모리에로드 할 수 있습니다.

예를 들어, "100 배정도 부동 소수점 파일을 메모리에 매핑하는"this example을 참조하십시오.