읽기 매우 큰 .xml.bz2 파일

Question

전체 파일을 추출하거나 XML 유효성 검사를 수행하지 않고 덤프 :

var filename = "enwiki-20160820-pages-articles.xml.bz2"; 

var settings = new XmlReaderSettings() 
{ 
    ValidationType = ValidationType.None, 
    ConformanceLevel = ConformanceLevel.Auto // Fragment ? 
}; 

using (var stream = File.Open(filename, FileMode.Open)) 
using (var bz2 = new BZip2InputStream(stream)) 
using (var xml = XmlTextReader.Create(bz2, settings)) 
{ 
    xml.ReadToFollowing("page"); 
    // ... 
} 

BZip2InputStream 작품 - 나는 StreamReader를 사용하는 경우 , 나는 한 줄씩 XML을 읽을 수있다. 그러나 XmlTextReader을 사용하면 읽기를 수행 할 때 오류가 발생합니다.

System.Xml.XmlException : '예상치 못한 파일 끝이 발생했습니다. 다음 요소는 닫히지 않았습니다 : mediawiki. 라인 58, 위치 1.

bzip 스트림은 EOF에서 이 아니고입니다. BZip2 스트림 위에 XmlTextReader를 열 수 있습니까? 아니면 이것을 할 다른 방법이 있습니까?

Answer 1

이렇게하면됩니다. 나는 XmlReader와 XML Linq의 조합을 사용했다. 필요에 따라 XElement 문서를 구문 분석 할 수 있습니다.

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Xml; 
using System.Xml.Linq; 


namespace ConsoleApplication29 
{ 
    class Program 
    { 
     const string URL = @"https://dumps.wikimedia.org/enwiki/20160820/enwiki-20160820-abstract26.xml"; 
     static void Main(string[] args) 
     { 
      XmlReader reader = XmlReader.Create(URL); 

      while (!reader.EOF) 
      { 
       if (reader.Name != "doc") 
       { 
        reader.ReadToFollowing("doc"); 
       } 
       if (!reader.EOF) 
       { 
        XElement doc = (XElement)XElement.ReadFrom(reader); 
       } 
      } 

     } 
    } 
}