파일 읽기 및 쓰기를 병렬화하는 방법

Question

두 개의 텍스트 파일에서 데이터를 읽고 다른 파일에 결과를 저장하는 프로그램이 있습니다. 퍼포먼스 히트의 원인이되는 많은 데이터가 읽고 쓰여지므로 읽기와 쓰기 작업을 parallize하고 싶습니다.

필자의 초기 생각은 처음에는 2 개의 스레드를 쓰고, 처음부터는 하나의 스레드에서 읽기/쓰기를하고, 또 다른 스레드는 파일의 중간에서 읽기/쓰기를 사용합니다. 내 파일은 행이 아닌 바이트 (각 행은 다른 데이터 바이트를 가질 수 있음)로 포맷되므로, 바이트 단위로 탐색하면 나를 위해 작동하지 않습니다. 그리고 내가 생각할 수있는 해결책은 getline()을 사용하여 이전 행을 건너 뛰는 것이고 이는 효율적이지 않을 수 있습니다.

파일의 지정된 줄을 찾는 좋은 방법이 있습니까? 또는 파일 읽기 및 쓰기를 시차 화하기위한 다른 아이디어가 있습니까?

환경 : Win32에서, C++, NTFS, 단일 하드 디스크

감사합니다.

-Dbger

Answer 1

일반적으로, 당신은 디스크 I/O를 병렬화하고 싶지 않아요. 하드 디스크는 데이터를 얻기 위해 끊임없이 탐색해야하기 때문에 임의 I/O를 좋아하지 않습니다. RAID를 사용하지 않고 일부 솔리드 스테이트 메모리가 아닌 하드 드라이브를 사용한다고 가정하면 I/O를 병렬화하면 심각한 성능 저하가 발생합니다 (그러한 기술을 사용하는 경우에도 여전히 성능을 볼 수 있습니다 무작위 입출력을 많이 할 때 저하).

두 번째 질문에 대답하려면 실제로 파일의 특정 줄을 찾는 좋은 방법이 아닙니다. read 함수를 사용하여 명시 적으로 바이트 오프셋을 찾을 수 있습니다 (사용 방법에 대한 자세한 내용은 this page 참조).

Answer 2

이것은 실제로 질문에 대한 답변이 아니라 오히려 재 설계입니다 이미 언급했듯이 여러 스레드로 하드 ​​디스크에서 I/O 속도를 높이는 것은 도움이되지 않습니다.

그러나 데이터 감도에 따라 다른 방법을 사용할 수도 있습니다 , 처리량 요구 사항, 데이터 크기 등 데이터의 그림을 유지하는 메모리 구조를 만드는 것은 어렵지 않으며 데이터의 모든 부분에서 텍스트 줄을 쉽고 빠르게 업데이트 할 수 있습니다. 그런 다음 전용 스레드 그 구조와 그 일을 기록하는 것만으로 디스크에 데이터. 데이터를 순차적으로 디스크에 기록하는 것은 매우 빠릅니다. 다른 섹션을 무작위로 찾아서 조각으로 쓰는 것보다 훨씬 빠릅니다.

Answer 3

하나의 디스크에 대해 여러 개의 읽기 및 쓰기 대기열을 지정하면 도움이되지 않습니다. 응용 프로그램이 CPU에서 많은 작업을 수행했다면 비동기 적으로 읽고 쓰고 디스크 입출력이 백그라운드에서 발생하는 동안 CPU가 작동하게 할 수 있습니다. 또는 두 번째 물리적 하드 드라이브를 얻으십시오 : 하나를 읽고 다른 하나를 씁니다. 알맞게 크기가 조정 된 데이터 세트의 경우 코드를 작성하는 것보다 효과적이고 비용면에서 훨씬 저렴합니다.