Perl - Windows에서 거대한 * .gz 파일 구문 분석

Question

Windows에서 Perl을 사용하여 big * .gz 파일을 구문 분석하려고합니다.

my $cmd = "zcat $dir/$file|"; 
open FILE, $cmd or die "$cmd:$!"; 

while (<FILE>) { 
. 
. 
. 
} 

을하고 그것을 잘 작동합니다 :

솔라리스에서 나는 건설 다음 사용할 수 있어요. Windows에서 IO::Zlib 모듈을 사용하고 있습니다. 예 :

my $fh = IO::Zlib->new("$file", "rb"); 
while (my $line = $fh->getline()) { 
. 
. 
} 

그러나 메모리가 부족합니다. (나는 시스템에 4GB RAM을 가지고있다.) 큰 * .gz 파일을 구문 분석하는 다른 방법이 있습니까?

Answer 1

Gzip for Windows (zcat 포함)을 설치하지 않는 이유는 무엇입니까? 메모리 문제 외에도 gzip의 배관이 IO::Zlib을 사용하는 것보다 빠르다는 것을 발견했습니다. ($fh->getline은 메서드 호출이며 Perl의 메서드 호출이 가장 빠르지 않으며 gzip을 외부 적으로 실행하면 멀티 태스킹을 활용하므로 멀티 코어 컴퓨터가 일반적이라는 사실을 눈치 챌 수 있습니다.

GnuWin은 어떤 이유로 Windows에서 실제로 작동하지 않는 쉘 스크립트로 zcat을 제공합니다. 하지만 zcat 대신에 gzip -cd을 사용할 수 있습니다 (Unix 플랫폼에서도 작동 함).

Answer 2

IO::Zlib->getline은 "라인"으로 읽습니다. 한 줄은 줄 끝으로 끝나는 한 묶음의 데이터로 정의됩니다. Perl의 "\ n"은 운영 체제에 따라 변경됩니다. Unix (Solaris 및 OS X 포함)에서는 012 (줄 바꿈 문자)입니다. Windows에서는 015 012 (캐리지 리턴 + 개행)입니다.

파일에 Unix 개행 문자가있는 경우 IO::Zlib->getline은 Windows에서 실행할 때 Windows 개행을 찾습니다. 전체 파일을 메모리로 읽으려고합니다. 일반적으로 $/, "입력 레코드 구분 기호"를 "행 끝"으로 설정하면 \015\012이되지만 IO :: Zlib (Compress::Zlib을 통해)은 이전 버전과의 호환성을 위해 $/을 지원하지 않습니다.

다행히도이 모든 혼란은 IO :: Compress 및 IO :: Uncompress로 재 작성되었습니다. IO::Uncompress::Gunzip을 사용하면 Compress :: Zlib가 이미 설치되어 있습니다.

use IO::Uncompress::Gunzip; 

# A block to isolate the local $/ 
{ 
    my $fh = IO::Uncompress::Gunzip->new($file); 

    # the file being read has Unix newlines 
    local $/ = "\012"; 

    # As an added bonus, the object works as a filehandle. 
    while(my $line = <$fh>) { 
     ... 
    } 
}