큰 CSV 파일을 읽는 효과적인 방법은 무엇입니까?

Question

현재 각 파일 당 약 45,000 개의 레코드가있는 5 개의 CSV 파일이 있습니다. 이것에 대해 가장 좋은 방법은 무엇일까요? 필자는 이전에 I/O를 했었지만이 규모에서는 결코하지 않았습니다. 벡터 문자열을 파싱 하시겠습니까?

Answer 1

예,이를 읽을 수 있으려면 vector이 적합 할 것입니다.

저장 용량 선택은 수행하려는 계획과 데이터가 무엇인지에 따라 다릅니다. 데이터 형식이 무엇인지 알고있는 경우 struct을 만들고 더 체계적인 형식으로 데이터를 읽을 수 있습니다. 예 : 파일이 다음과 같은 경우 :

name, score, err 

Mats, 89, 2.1% 
Steve, 79, 8% 

는이 같은 구조 할 수 :

struct Row 
{ 
    string name; 
    int score; 
    float err; 
} 

댓글이 45K 라인이 매우 아닌, 말하는 것처럼하고는 모든 주요 문제가 발생하지 않아야 당신이 손목 시계의 계산 능력으로 무언가에 그것을 달리기 않는 한.

Answer 2

그냥 당신이하고있는 일을 계속하십시오 Vectorstring의의에 모든 라인하는 Vectorstring의 s의 Vector, 또는 객체의 Vector를 참조하십시오. 우리는 200 ~ 500MB RAM을 사용하고 있으며 요즘 대부분의 컴퓨터는 사용 가능한 것보다 훨씬 많은 것을 가지고 있습니다. 처리 시간 관점에서 볼 때 평균 컴퓨터에서 5 ~ 10 분이 걸릴 것입니다 (물론 처리량에 따라 다름).

문제가 발생하면 새로운 질문을하여 추가 정보를 얻으십시오.