정규식을 사용하여 파일을 읽으시겠습니까?

Question

이이 접선 an earlier question of mine.

관련이는 본질적으로 그 문제의 해결책은 잘 작동했지만 지금은 훨씬 더 큰 분석 응용 프로그램에서 작동하도록 적응해야합니다. StreamReader.ReadToEnd()을 단순히 사용하는 것은 허용되지 않습니다. 왜냐하면 내가 읽을 파일 중 일부가 매우 매우 크기 때문입니다. 실수가 있었고 누군가 정리하는 것을 잊어 버린 경우 이론적으로는 기가 바이트가 될 수 있습니다. 분명히 나는 ​​그것의 끝까지 읽을 수 없다.

불행하게도, 내가 읽고있는 일부 데이터 행에 스택 추적이 포함되어 있기 때문에 정상적인 읽기 라인도 허용되지 않습니다. 분명히 포맷에 /r/n을 사용합니다. 이상적으로, 정규식에 대한 일치를 검색 할 때까지 앞으로 읽도록 프로그램에 지시하고 싶습니다. .net에서이 작업을 수행 할 수있는 기능이 있습니까? 그렇지 않다면 필자는 글쓰기에 대한 제안을받을 수 있습니까?

편집 : 그것은 좀 더 쉽게 내 질문에 따를 수 있도록, 여기에 적응 코드의 중요한 부분 중 일부의 붙여 넣기입니다 :

foreach (var fileString in logpath.Select(log => new StreamReader(log)).Select(fileStream => fileStream.ReadToEnd())) 
{ 
    const string junkPattern = @"\[(?<junk>[0-9]*)\] \((?<userid>.{0,32})\)"; 
    const string severityPattern = @"INFO|ERROR|FATAL"; 
    const string datePattern = "^(?=[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3})"; 
    var records = Regex.Split(fileString, datePattern, RegexOptions.Multiline); 
    foreach (var record in records.Where(x => string.IsNullOrEmpty(x) == false)) 
    ...... 

문제는의 Foreach에있다. .Select(fileStream => fileStream.ReadToEnd())가 심하게 기억을 날려 버릴 테니, 나는 단지 그것을 알고 있습니다.

Answer 1

먼저 const 정의를 클래스 선언으로 옮겨야합니다. 컴파일러가이를 대신 처리하지만 코드 가독성을 높이기 위해 직접 작성해야합니다. @Blam가 언급 한 바와 같이

,이 같은 쌍의 StringBuilder 및 StreamReader.ReadLine, 뭔가를 사용한다 : 나는 당신의 문제에 대해 뭔가를 이해하지 않은 경우, 의견이 명확히하십시오

foreach(var filePath in logpath) 
{ 
    var sbRecord = new StringBuilder(); 
    using(var reader = new StreamReader(filePath)) 
    { 
     do 
     { 
      var line = reader.ReadLine(); 
      // check start of the new record lines 
      if (Regex.Match(line, datePattern) && sbRecord.Length > 0) 
      { 
       // your method for log record 
       HandleRecord(sbRecord.ToString()); 
       sbRecord.Clear(); 
       sbRecord.AppendLine(line); 
      } 
      // if no lines were added or datePattern didn't hit 
      // append info about current record 
      else 
      { 
       sbRecord.AppendLine(line); 
      } 
     } while (!reader.EndOfStream) 
    } 
} 

.
ThreadPool을 사용하면 응용 프로그램의 속도를 위해서만 줄 작업을 예약 할 수 있습니다.