빠른 컴파일 사이에서 하드 드라이브의 데이터를 빠르게 읽는 속임수

Question

거대한 은하 카탈로그에서 특정 계산을 수행하는 컴파일 된 언어 (Fortran 95)로 코드를 개발 중입니다. 변경을 구현할 때마다 코드를 컴파일하고 실행하며 디스크에서 Galaxy 데이터로 ASCII 파일을 읽는 데 약 3 분이 걸립니다. 이것은 시간 낭비입니다.

IDL 또는 Matlab에서이 프로젝트를 시작했다면 배열 데이터를 포함하는 변수가 다른 컴파일 사이에 메모리에 저장되므로 다른 것입니다.

그러나 가짜 RAM 파티션이나 뭔가에있는 파일을 가지고있는 것처럼 디스크에서 읽기 편한 속도를 높이려면 뭔가를 할 수 있다고 생각합니다.

Answer 1

RAM 디스크의 세부 정보로 이동하는 대신 ASCII 데이터베이스에서 이진 데이터베이스로 전환하는 것이 좋습니다. 여기

program writeArr 
    use,intrinsic :: ISO_Fortran_env, only: REAL64 
    implicit none 
    real(REAL64),allocatable :: tmp(:,:) 
    integer :: uFile, i 

    allocate(tmp(10000,10000)) 

    ! Formatted read 
    open(unit=uFile, file='ASCII.txt',form='formatted', & 
     status='replace',action='write') 
    do i=1,size(tmp,1) 
    write(uFile,*) tmp(:,i) 
    enddo !i 
    close(uFile) 

    ! Unformatted read 
    open(unit=uFile, file='binary.bin',form='unformatted', & 
     status='replace',action='write') 
    write(uFile) tmp 
    close(uFile) 

end program 

크기의 관점에서 그 결과는 : 여기 아주 단순한 예 ... ASCII (ASCII.txt)로 저장된 난수의 배열, 및 이진 된 날짜 (binary.bin)입니다

:> ls -lah ASCII.txt binary.bin 
-rw-rw-r--. 1 elias elias 2.5G Feb 20 20:59 ASCII.txt 
-rw-rw-r--. 1 elias elias 763M Feb 20 20:59 binary.bin 

따라서 저장시 약 3.35 배를 절약 할 수 있습니다. 이제 재미있는 부분을 제공 :에 ...

program readArr 
    use,intrinsic :: ISO_Fortran_env, only: REAL64 
    implicit none 
    real(REAL64),allocatable :: tmp(:,:) 
    integer :: uFile, i 
    integer :: count_rate, iTime1, iTime2 

    allocate(tmp(10000,10000)) 

    ! Get the count rate 
    call system_clock(count_rate=count_rate) 

    ! Formatted write 
    open(unit=uFile, file='ASCII.txt',form='formatted', & 
     status='old',action='read') 

    call system_clock(iTime1) 
    do i=1,size(tmp,1) 
    read(uFile,*) tmp(:,i) 
    enddo !i 
    call system_clock(iTime2) 
    close(uFile) 
    print *,'ASCII read ',real(iTime2-iTime1,REAL64)/real(count_rate,REAL64) 

    ! Unformatted write 
    open(unit=uFile, file='binary.bin',form='unformatted', & 
     status='old',action='read') 
    call system_clock(iTime1) 
    read(uFile) tmp 
    call system_clock(iTime2) 
    close(uFile) 
    print *,'Binary read ',real(iTime2-iTime1,REAL64)/real(count_rate,REAL64) 

end program 

다시 읽기 결과는 그래서

ASCII read 37.250999999999998  
Binary read 1.5460000000000000 

> (24)의 요인이다!

그래서 다른 것을 생각하지 않고 먼저 이진 파일 형식으로 전환하십시오.