istringstream을 사용하여 성능 문제가 발생했습니다.

Question

대용량 CSV 파일 (~ 450MB)을 구문 분석하고 있습니다. 파서는 ifstream과 getline을 기반으로합니다. 이것은 잘 작동하지만 시간이 좀 걸립니다. 시간을 단축하기 위해 CSV 파일의 압축 버전 (~ 21MB)을 istringstream으로 읽고 동일한 파서를 사용하려고했습니다. 그러나 파서는 ifstream 또는 istringstream을 사용할 때 동일한 시간이 걸립니다. 콘텐츠가 이미 메모리에 버퍼링되어 있기 때문에 istringstream을 사용할 때 파서는 더 빨리 이해해야합니다.

ifstream file(filename) 
istream* filePointer = &file 
if(gz file) { 
    read file into string 
    decompress string 
    create istringstream from decompressed string 
    set filePointer to istringstream 
} 
parse(filePointer) 
--- 
void parse(istream* file) { 
    // ... 
    while(getline(*file, line)) { 
     // ... 
    } 
} 

성능 결과 :

• 압축
  • 파서 : 15 초 (ifstream)
• 압축
  ,691 여기
  일부 의사 코드
  • 읽기 파일을 압축 해제 : 4의
  • 파서 : 15 초 (istringstream)

이 정상 동작은 istringstream가 읽고 ifstream를 사용하여 동시에 파일을 구문 분석보다 더 빨리 아니라고,인가?

Answer 1

성능 결과에서 언급했듯이 파싱 시간은 일정하므로 두 방법 모두 파싱되는 것보다 빠르게 파일을 읽습니다. 따라서 속도 병목 현상은 구문 분석 자체이며 파일을 더 빨리 읽는 것은 성능에 도움이되지 않습니다. 코드를 더 최적화하려면 파서에 뭔가를해야합니다.