파일의 로그 정보 오버 헤드

Question

몇 시간에서 며칠까지 걸릴 수있는 몇 가지 긴 시뮬레이션을 수행 중이며 정보를 파일에 기록하고 있습니다. 파일은 수백 MB의 크기에 도달 할 수 있으며 내부에는 숫자 목록 만 있습니다. 나는 이것이 원래 발생하는 오버 헤드에 대해 정말로 우려하고있다. 나는이 방법을 사용하는 오버 헤드가 정말로 큰지 물어보고 싶습니다. 동일한 작업을 수행하는 다른 더 효율적인 방법이 있다면 그냥 정보를 기록하십시오.

저는 C++을 사용하고 있으며 파일을 기록하기 위해 fprintf의 일반적인 방법을 사용합니다. 오버 헤드를 설명하기 위해 비슷한 예제를 사용할 수 있다면 이번에는 파일을 사용하지 않고이 파일을 사용하는 것이 이상적입니다.

나는 몇 가지 테스트를했지만 오버 헤드는 파일의 크기와 직선적 성장 있을지 모른다. 내가 말하는 것은 1Gb 크기의 파일보다 1Mb 크기의 파일에 줄을 추가하는 것이 같지 않을 수도 있다는 것입니다. 누구든지 오버 헤드가 파일의 크기와 함께 증가하는 방법을 알고 있습니까?.

Answer 1

단지 백 - 오브 - 엔벨로프 계산이 필요합니다.

"수백의 Mb"를 400MB로합시다.
"몇 시간에서 며칠 동안"을 48 시간이라고합시다.

(400 * 1024 * 1024 바이트)/(3600 * 48초) = 2427 바이트/초 분명히

, 당신은 당신의 시스템을 시청하거나 계산 실수를 사용하지만, 위의 대략적인 견적을 사용 할 수 있습니다 당신은 약 2KB/초를 로깅합니다, 이것은 평균적인 하드 드라이브 한계에 비해 꽤 사소합니다.

그래서, 아니요, 오버 헤드가 매우 큰 것으로 보입니다. 그리고 네, 그것을하는 더 효율적인 방법이 있습니다,하지만 당신은 아마도 귀하의 수치가 당신이 진술 한 것과 매우 다른 경우를 제외하고는 당신이 얻는 초소형 저축에 가치있는 시간과 노력을 더 쏟을 것입니다.

Answer 2

는 "메가 바이트의 수백은"몇 일의 과정에서 아마 무관하다. 수십 기가 바이트가 중요 할 수는 있지만 여전히 큰 것은 아닙니다.

하지만 정확한 응용 프로그램에 대한 답을 알아내는 확실한 방법이있다 : 그것을 로깅이 켜져와 시뮬레이션을 실행, 및 시간입니다. 그런 다음 로깅을 끈 채로 (동일한 입력으로) 실행하고 시간을 맞 춥니 다. 차이점을 비교하십시오. 이상적으로, 다른 방해를 상쇄하기 위해 이것을 여러 번하십시오. 많은 로깅의 잠재적 이점이 성능 저하를 훨씬 능가한다는 것을 알게 될 것입니다.

Answer 3

데이터를 STL 벡터에 넣고 다음과 같이 데이터에 프로파일을 적용 할 수 있습니다.
- 반복되는 줄 제외;
- 차이점 만 저장;
- 몇 시간 후에 데이터를 플러시합니다.
- 저장할 특정 데이터를 선택하십시오.
- 등 ...