청크로 libxml-ruby 청크로 대용량 XML 파일 처리

Question

Ruby에서 libxml을 사용하는 수백만 개의 작은 서지 레코드 (예 : <article>...</article>)가 포함 된 큰 XML 파일을 읽고 싶습니다. 레코드로 레코드를 읽는 expand 메서드와 함께 Reader 클래스를 시도했지만 코드가 메모리를 차지하기 때문에 이것이 올바른 접근 방법인지 확신 할 수 없습니다. 따라서 일정한 메모리 사용으로 레코드별로 편리하게 레코드를 처리하는 방법을 찾고 있습니다. 여기

File.open('dblp.xml') do |io| 
     dblp = XML::Reader.io(io, :options => XML::Reader::SUBST_ENTITIES) 
     pubFactory = PubFactory.new 

     i = 0 
     while dblp.read do 
     case dblp.name 
      when 'article', 'inproceedings', 'book': 
      pub = pubFactory.create(dblp.expand) 
      i += 1 
      puts pub 
      pub = nil 
      $stderr.puts i if i % 10000 == 0 
      dblp.next 
      when 'proceedings','incollection', 'phdthesis', 'mastersthesis': 
      # ignore for now 
      dblp.next 
      else 
      # nothing 
     end 
     end 
    end 

의 핵심은 dblp.expand은 (AN <article> 기록처럼) 전체 서브 트리를 읽고 추가 처리를 위해 공장에 대한 인수로 전달하는 것입니다 : 아래 내 주요 루프입니다. 이것이 올바른 접근 방법입니까?

팩토리 메서드 내에서 다음과 같이 높은 수준의 XPath 식을 사용하여 아래와 같이 요소의 내용을 추출합니다. 다시 말하지만, 이것이 가능한가?

def first(root, node) 
    x = root.find(node).first 
    x ? x.content : nil 
end 

pub.pages = first(node,'pages') # node contains expanded node from dblp.expand 

Answer 1

큰 XML 파일을 처리 할 때, 당신은 메모리의 모든 내용을로드 피하기 위해 스트림 파서를 사용합니다. 일반적인 두 가지 방법이 있습니다

• 푸시 파서 당신이 그들을 얻을로 태그를 encoutered에 반응 SAX 같은이 (tadman에게 대답을 참조).
• 풀 파서 당신이 같은 간단한 기본 요소로 이동할 수있는 XML 파일에 "커서를"제어는 등 내려 가서/

그 푸시 파서 경우에 사용하는 것이 좋은 생각 당신은 단지 일부 필드를 가져오고 싶지만 일반적으로 복잡한 데이터 추출에 사용하기가 지저분하고 종종 awith를 사용하여 구현됩니다.

풀 서술자는 제 생각에 나무 기반 모델과 푸시 분석기 사이의 좋은 대안입니다 . Dr. Dobb의 저널에서 REXML로 파서를 가져 오는 것에 대한 nice article을 찾을 수 있습니다.

Answer 2

XML을 처리 할 때 두 가지 공통 옵션은 트리 기반 및 이벤트 기반입니다. 트리 기반 접근 방식은 일반적으로 전체 XML 문서를 읽고 많은 양의 메모리를 소비 할 수 있습니다. 이벤트 기반 접근 방식은 추가 메모리를 사용하지 않지만 사용자가 직접 처리기 로직을 ​​작성하지 않는 한 아무 작업도 수행하지 않습니다.

이벤트 기반 모델은 SAX 스타일 구문 분석기 및 파생 구현에서 사용됩니다. REXML와

예 : http://www.iro.umontreal.ca/~lapalme/ForestInsteadOfTheTrees/HTML/ch08s01.html

REXML : http://ruby-doc.org/stdlib/libdoc/rexml/rdoc/index.html

Answer 3

나는 같은 문제가 있었지만 Node # remove를 호출하여 해결했다고 생각합니다! 확장 된 노드에서. 귀하의 경우, 나는이 작품 왜 당신이 정말로 확실하지

 
my_node = dblp.expand 
[do what you have to do with my_node] 
dblp.next 
my_node.remove! 

같은 뭔가를해야한다고 생각하지만 LibXML의 소스 :: XML :: 리더 # 확장 보면, 노드를 해제에 대한 의견이있다 . Reader # expand가 노드를 Reader에 연결한다는 것을 추측하고 Node # remove를 호출해야합니다! 그것을 해방시키기 위해서.

메모리 사용량은이 해킹으로도 좋지 않았지만, 적어도 계속 증가하지는 않았습니다.