루비에 큰 파일 xml 만들기

Question

일부 데이터를 XML 파일에 쓰고 싶습니다. (XML 파일은 ~ 50MB가됩니다).

nokogiri (1.5.0) 보석이 인 것으로 나타 났으며, 가장 좋은 내용은 (읽기만하고 쓰지 않음)입니다. Nokogiri는 XML 파일에 쓰기 좋은 옵션이 아닙니다. 왜냐하면 쓰기가 완료 될 때까지 완전한 XML 데이터를 메모리에 보유하기 때문입니다.

빌더 (3.0.0)는 좋은 옵션이지만 최상의 옵션인지는 알 수 없습니다.

나는 다음과 같은 간단한 코드로 몇 가지 벤치 마크를 시도 :

(1..500000).each do |k| 
    xml.products { 
     xml.widget { 
     xml.id_ k 
     xml.name "Awesome widget" 
     } 
    } 
    end 

노코 기리 약 143초 걸리고 또한 메모리 소비가 점차 증가하고 약 700 메가 바이트 마침내 끝났다.

빌더는 약 123 초가 걸리고 메모리 소비는 10MB 정도로 안정적이었습니다.

Ruby에서 거대한 XML 파일 (50MB)을 작성하는 더 좋은 해결책이 있습니까?

노코 기리 파일 :

require 'rubygems' 
require 'nokogiri' 
a = Time.now 
builder = Nokogiri::XML::Builder.new do |xml| 
    xml.root { 
    (1..500000).each do |k| 
    xml.products { 
     xml.widget { 
     xml.id_ k 
     xml.name "Awesome widget" 
     } 
    } 
    end 
    } 
end 
o = File.new("test_noko.xml", "w") 
o.write(builder.to_xml) 
o.close 
puts (Time.now-a).to_s 

빌더 파일 : 속도가 주요 관심사 인 경우

require 'rubygems' 
require 'builder' 
a = Time.now 
File.open("test.xml", 'w') {|f| 
xml = Builder::XmlMarkup.new(:target => f, :indent => 1) 

    (1..500000).each do |k| 
    xml.products { 
     xml.widget { 
     xml.id_ k 
     xml.name "Awesome widget" 
     } 
    } 
    end 

} 
puts (Time.now-a).to_s 

Answer 1

솔루션 1

, 난 그냥 (http://libxml.rubyforge.org/rdoc/)를 libxml - 루비를 사용하십시오 직접 :

$ time ruby test.rb 

real 0m7.352s 
user 0m5.867s 
sys  0m0.921s 

API를 사용하여 꽤 똑바로 앞으로

require 'rubygems' 
require 'xml' 
doc = XML::Document.new() 
doc.root = XML::Node.new('root_node') 
root = doc.root 

500000.times do |k| 
    root << elem1 = XML::Node.new('products') 
    elem1 << elem2 = XML::Node.new('widget') 
    elem2['id'] = k.to_s 
    elem2['name'] = 'Awesome widget' 
end 

doc.save('foo.xml', :indent => false, :encoding => XML::Encoding::UTF_8) 

입니다 : 들여 쓰기 =>이 경우 큰 차이를하지 않는 사실 만이 할 수있는 더 복잡한 XML 파일.

real 0m7.395s 
user 0m6.050s 
sys  0m0.847s 

가장 빠른 솔루션 물론 해결책이

, 그 메모리에 구축하지 않습니다 (들여 쓰기)

$ 시간 루비 test.rb 번호 단지를 작성하는 것입니다 xml을 수동으로 만들지 만 잘못된 xml과 같은 다른 오류 소스를 쉽게 생성합니다. 여기

$ time ruby test.rb 

real 0m1.131s 
user 0m0.873s 
sys  0m0.126s 

는 대한 코드입니다 :

f = File.open("foo.xml", "w") 
f.puts('<doc>') 
500000.times do |k| 
    f.puts "<product><widget id=\"#{k}\" name=\"Awesome widget\" /></product>" 
end 
f.puts('</doc>') 
f.close