C의 파일에서 N 개의 정수를 한 번에 읽는 중

Question

외부 정렬을 구현하려고하는 Im.

처음에는 파일에서 N 정수 (고정 메모리에 따라 고정)를 읽어야합니다. 따라서 quicksort를 적용한 다음 병합 프로세스를 계속 진행할 수 있습니다.

나는이 두 가지 방법을 생각할 수 있습니다

1. 는 N 정수에게 파일을 하나씩 읽고으로 정렬 한 후 배열에 넣어.
2. 대량의 데이터를 큰 문자 배열로 읽어 들인 다음 sscanf를 사용하여 정수를 읽습니다.

첫번째 방법은 명확하게 느리고 두번째 방법은 추가 메모리를 많이 사용하고 (하지만 우리는 제한된 메인 메모리가)

이 더 좋은 방법이 있나요를?

Answer 1

당신의 OS보다 더 똑똑해 지려고하지 마십시오. 아마도 영리한 메모리 관리 기능을 지원할 것입니다. 그것은 당신의 삶과 코드를 더 빠르게 만들어 줄 것입니다.

POSIX 호환 운영 체제를 사용한다고 가정하면 mmap(2)을 사용할 수 있습니다.

1. 지도의 mmap와 메모리에 파일
2. 정렬이
3. 동기화 할

OS가 방에 꽉 때 데이터를 교환 처리하고 당신이 필요로 할 때 그것을 교환 할 것이다이 방법 그것.

Answer 2

읽을 때와 같은 시간에 정렬하는 것이 가장 좋습니다. 정렬 대신 데이터를 연결된 목록에 저장하는 것이 더 효율적입니다.

fscanf()을 사용하면 정수에서 정수를 읽을 수 있습니다. 그리고 파일에서 정수를 읽는 순간 정렬을 시도하십시오. 나는 파일에서 정수를 읽을 때 배열을 올바른 위치에 놓으면 읽는 것을 마칠 때 배열을 정렬 할 수 있습니다.

다음 예는 정수로 파일 정수를 읽은 다음 읽기와 동시에 sort를 삽입합니다. 정수는

는

기능이 소요 .... 배열로가 아니라 하나에 의해 파일 하나에서의 int를 읽고 정렬 및 이동에 병합 계속 아래와 같은 기능을 사용할 수 있습니다

void sort_insert(int x, int *array, int len) 
{ 
    int i=0, j; 
    for(i=0; i<(len-1); i++) 
    { 
     if (x > array[i]) 
      continue; 
     for (j=(len-1); j>i; j--) 
      array[j] = array[j-1]; 
     break; 
    } 
    array[i] = x; 
} 

void main() { 
    int x, i; 
    int len = 0; 
    int array[50]; 
    FILE *fp = fopen("myfile.txt", "r"); 

    while (len<50 && fscanf(fp, " %d",&x)>0) 
    { 
     len++; 
     sort_insert(x, array, len); 
    } 
    for (i=0; i<len; i++) 
    { 
     printf("array[%d] = %d\n", i, array[i]); 
    } 

} 

Answer 3

연결리스트에 저장됩니다 filename과 integer count를 인수로 취하고 파일에서 int를 반환합니다.

int read_int (const char *file_name, int count) 
{ 
    int err = -1; 
    int num = 0; 

    int fd = open(filename, O_RDONLY); 
    if(fd < 0) 
    { 
    printf("error opening file\n"); 
    return (fd); 
    } 

    err = pread(fd, &num, sizeof(int), count*sizeof(int)); 
    if(err < 0) 
    { 
    printf("End of file reached\n"); 
    return (err); 
    } 

    close(fd); 
    return (num); 
} 

Answer 4

stdio 이후 파일 작업은 정말 파일이 큰되지 특히, 첫 번째 옵션에 대해 걱정할 필요가 없습니다, 버퍼링됩니다. 파일을 직접 조작하지 않고 메모리에 파일을 표현한 것을 기억하십시오.

예를 들어 한 번에 하나의 숫자를 스캔하면 시스템에서 파일의 훨씬 큰 부분을 읽습니다 (내 시스템에서는 4096 바이트, 파일이 짧으면 전체 파일에서 읽음).