사용자 정의 프리 페치

Question

큰 파일로드의 결과가 더 빨리 얻어지는 NT 및 Linux에 대한 프로그래밍 방식의 휴대용? 나는 당신이 그것을 두 개의 OS에 대한 코드에서 제어 할 수있는 메커니즘이라고 부르는 것이 무엇이든간에, '이전에'앞서있다.

각 파일은 크기가 완전하고 내용이 순차적이어야합니다. 목표는 배치 파일 처리 속도를 높이는 것입니다.

Answer 1

madvise()과 비슷한 Win32 (NT) API는 알지 못합니다.

그러나 접근 방법을 제안합니다.

먼저 Win32 플래그 FILE_FLAG_SEQUENTIAL_SCAN을 CreateFile()으로 전달합니다. 이렇게하면 Windows 운영 체제가 파일을 열어 파일을 더 잘 버퍼링 할 수 있습니다.

FILE_FLAG_SEQUENTIAL_SCAN을 사용하면 파일을 메모리에 저장하면 파일 파서가 더 빨리 작동 할 수 있습니다. Linux의 madvise()과 달리 Win32 플래그를 사용하기 때문에 파일이 메모리에로드되기 시작하지 않습니다.

다음으로로드를 시작하려면 파일을 트리거해야합니다. 비동기식으로 파일의 첫 번째 페이지를 으로 호출하고 OVERLAPPED 구조와 FileIOCompletionRoutine 함수를 호출합니다.

FileIOCompletionRoutine은 단순히 반환 할 수도 있고, 중첩 된 구조로 이벤트를 설정할 수도 있습니다. 자세한 내용은 ReadFileEx의 MSDN 세부 정보를 읽으십시오.

실제로 파일을 읽을 때 미리 가져 오기가 완료되지 않은 경우 중요한 실패가 아니므로 가장 쉽게 구현할 수 있습니다. "꺼내기"- 중복 된 파일을 읽은 다음 결코 실행하지 않습니다. 그 결과를 확인하십시오. 그래도 데이터를 유효한 버퍼로 읽어야합니다! 이전 파일을 읽는 동안 당신이 파일에 대해이 작업을 수행 할 경우

는, 결과는 다음 파일에 페이징 시작됩니다 것을해야한다.

이 당신의 성능이 저하 될 수 있음을 유의하십시오. 다음 파일로 페이지가 시작될 때 해당 파일에 액세스 할 디스크 I/O는 현재 구문 분석중인 파일에 대한 디스크 I/O와 경쟁하게됩니다. 두 파일이 동일한 디스크에서 서로 물리적으로 멀리 떨어져있는 경우 드라이브 헤드가 찾는대로 사전 불러 오기의 결과가 추가 지연 될 수 있습니다. 최신 드라이브에는 이러한 문제를 완화하는 대용량 버퍼가 있지만 새 파일의 첫 페이지를 대기열로두면 헤드 검색이 발생할 수 있습니다.

bdonlan이 처리에서 비동기 적으로 파일을로드하는 'pre-fetch'스레드는 Win32에서도 사용할 수있는 솔루션입니다.

Answer 2

NT에 대해서는 잘 모르겠지만 Linux에서 한 가지 옵션은 MADV_WILLNEED 플래그가있는 madvise 플래그를 사용하는 것입니다. 잠시 후에 실제로 다음 파일을 읽는 것이 필요합니다.

대안 적으로 포터블 옵션은 버퍼 처리 스레드와 별도의 스레드에서 수동으로 readahead를 수행하는 것입니다. 즉, 스레드 A의 XMB 버퍼를 채우기 위해 데이터를 읽고, 스레드 B에서 수행 할 수 있습니다.