Perl 스크립트를 Python으로 변환 : 해시 키 기반의 파일 2 개를 중복 제거

Question

저는 Python을 처음 접했고 누군가가 비교적 간단한 Perl 스크립트의 예를 Python으로 친절하게 변환 할 수 있는지 알고 싶습니다.

스크립트는 2 개의 파일을 사용하고 해시 키를 비교하여 두 번째 파일에서 고유 한 줄만 출력합니다. 또한 파일에 중복 행을 출력합니다. 필자는이 중복 제거 방법이 Perl과 매우 빠르며 Python이 어떻게 비교되는지보고 싶습니다.

#! /usr/bin/perl 

## Compare file1 and file2 and output only the unique lines from file2. 

## Opening file1.txt and store the data in a hash. 
open my $file1, '<', "file1.txt" or die $!; 
while (<$file1>) { 
    my $name = $_; 
    $file1hash{$name}=$_; 
} 
## Opening file2.txt and store the data in a hash. 
open my $file2, '<', "file2.txt" or die $!; 

while (<$file2>) { 
    $name = $_; 
    $file2hash{$name}=$_; 
} 

open my $dfh, '>', "duplicate.txt"; 

## Compare the keys and remove the duplicate one in the file2 hash 
foreach (keys %file1hash) { 
    if (exists ($file2hash{$_})) 
    { 
    print $dfh $file2hash{$_}; 
    delete $file2hash{$_}; 
    } 
} 

open my $ofh, '>', "file2_clean.txt"; 
print $ofh values(%file2hash) ; 

필자는 perl과 python 스크립트를 1 백만 라인이 넘는 2 개의 파일에서 테스트했으며 총 시간은 6 초 미만이었습니다. 이 사업 목적을 위해 성능이 뛰어납니다!

나는 크리스가 제공하는 스크립트를 수정하고 난 둘 다 결과에 매우 행복하다 : 1) 내가 스크립트를 수정있는 스크립트의 성능과 2) 용이성을 더 유연하게 :

#!/usr/bin/env python 

import os 

filename1 = raw_input("What is the first file name to compare? ") 
filename2 = raw_input("What is the second file name to compare? ") 

file1set = set([line for line in file(filename1)]) 
file2set = set([line for line in file(filename2)]) 

for name, results in [ 
    (os.path.abspath(os.getcwd()) + "/duplicate.txt", file1set.intersection(file2set)), 
    (os.path.abspath(os.getcwd()) + "/" + filename2 + "_clean.txt", file2set.difference(file1set))]: 
    with file(name, 'w') as fh: 
     for line in results: 
      fh.write(line) 

Answer 1

당신에게 주문에 신경 쓰지 않는다면 파이썬에서 세트를 사용할 수 있습니다 :

file1=set(open("file1").readlines()) 
file2=set(open("file2").readlines()) 
intersection = file1 & file2 #common lines 
non_intersection = file2 - file1 #uncommon lines (in file2 but not file1) 
for items in intersection: 
    print items 
for nitems in non_intersection: 
    print nitems 

다른 방법으로는 difflib, filecmp 라이브러리를 사용할 수 있습니다.

다른 방법으로는 목록 비교 만 사용하십시오.

# lines in file2 common with file1 
data1=map(str.rstrip,open("file1").readlines()) 
for line in open("file2"): 
    line=line.rstrip() 
    if line in data1: 
     print line 

# lines in file2 not in file1, use "not" 
data1=map(str.rstrip,open("file1").readlines()) 
for line in open("file2"): 
    line=line.rstrip() 
    if not line in data1: 
     print line 

Answer 2

다음은 파일이 매우 큰 경우 약간 더 메모리가 많은 해결책입니다. 당신이 공백과 끝을 후행 포함 할 경우,

with open("file1.txt", "r") as file1: 
    file1set = set(line.rstrip() for line in file1) 

with open("file2.txt", "r") as file2: 
    with open("duplicate.txt", "w") as dfh: 
     with open("file2_clean.txt", "w") as ofh: 
      for line in file2: 
       if line.rstrip() in file1set: 
        dfh.write(line)  # duplicate line 
       else: 
        ofh.write(line)  # not duplicate 

참고 :이은 (한 번에 메모리에 파일 2 모두를 할 필요가있을 것 같지 않는 한) 원본 파일의 집합을 생성 측면도 및 인라인 비교의 문자가, 당신은 단지 line와 두 번째 line.rstrip()을 대체 할 수 있으며, 두 번째 라인을 단순화 : 파이썬 3.1로,

file1set = set(file1) 

또한을은 with 문은 세 with 문 그래서 여러 항목을 수 있습니다 하나에 결합 될 수 있습니다.

Answer 3

또 다른 변형 (다른 제안에서 단순히 구문 변경, 거기에 파이썬을 사용하여 그것을 할 여러 가지 방법이 있습니다).

file1set = set([line for line in file("file1.txt")]) 
file2set = set([line for line in file("file2.txt")]) 

for name, results in [ 
    ("duplicate.txt", file1set.intersection(file2set)), 
    ("file2_clean.txt", file2set.difference(file1set))]: 
    with file(name, 'w') as fh: 
     for line in results: 
      fh.write(line) 

사이드 노트 : 우리는 또 다른 perl 버전을 제안해야합니다. 매우 perlish가 아닌 버전에서 제안 된 것 ... 아래는 필자의 python 버전과 동등한 perl입니다. 처음 것 같이 보이지 않는다. 내가 지적하고자하는 것은 제안 된 응답 문제는 perl 대 python만큼 많은 알고리즘 및 언어 독립적이라는 것입니다.

use strict; 

open my $file1, '<', "file1.txt" or die $!; 
my %file1hash = map { $_ => 1 } <$file1>; 

open my $file2, '<', "file2.txt" or die $!; 
my %file2hash = map { $_ => 1 } <$file2>; 

for (["duplicate.txt", [grep $file1hash{$_}, keys(%file2hash)]], 
    ["file2_clean.txt", [grep !$file1hash{$_}, keys(%file2hash)]]){ 
    my ($name, $results) = @$_; 
    open my $fh, ">$name" or die $!; 
    print $fh @$results; 
}