Python : 파일 반복을 통한 빠른 반복

Question

많은 파일을 두 번 반복해야하는데, 은 파일 전체에서 단어 쌍의 모양을 계산합니다.

을 (피셔의 정확한 시험 점수를 계산하는 두 단어의 비상 테이블을 구축하기 위해) 나는 현재이 나쁜 것은 아니지만, 내가 어떤 빠른 방법이 있는지 알고 싶어

from itertools import izip 
src=tuple(open('src.txt','r')) 
tgt=tuple(open('tgt.txt','r')) 
w1count=0 
w2count=0 
w1='someword' 
w2='anotherword' 
for x,y in izip(src,tgt): 
    if w1 in x: 
     w1count+=1 
    if w2 in y: 
     w2count+=1 
    ..... 

을 사용하고 있습니다 두 파일을 반복 할 수 있기를 바랍니다.

미리 도움을 주셔서 감사합니다. 일반적으로

Answer 1

정확히 무엇을 하려는지 정확히 알 수는 없지만 올바른 방향을 제시 할 수있는 몇 가지 예제 코드가 있습니다.

사전 또는 collections.Counter 인스턴스를 사용하여 파일을 통해 번 발생하는 모든 단어 및 쌍 을 계산할 수 있습니다. 그런 다음 메모리 내 데이터 만 쿼리하면됩니다.

import collections 
import itertools 
import re 

def find_words(line): 
    for match in re.finditer("\w+", line): 
     yield match.group().lower() 

counts1 = collections.Counter() 
counts2 = collections.Counter() 
counts_pairs = collections.Counter() 

with open("src.txt") as f1, open("tgt.txt") as f2: 
    for line1, line2 in itertools.izip(f1, f2): 
     words1 = list(find_words(line1)) 
     words2 = list(find_words(line2)) 
     counts1.update(words1) 
     counts2.update(words2) 
     counts_pairs.update(itertools.product(words1, words2)) 

print counts1["someword"] 
print counts1["anotherword"] 
print counts_pairs["someword", "anotherword"] 

Answer 2

데이터가 가장 좋은 건이다 후 메모리에 들어갈 정도로 작은 경우 : 메모리 구조에서

으로 반복 메모리에

1. 전 공정 데이터

파일이 크면 압축 된 데이터와 같은 데이터 구조로 사전 처리하고 pickle과 같은 형식으로 저장하면 훨씬 빠르게로드 할 수 있습니다. &은 별도의 파일로 작업 한 후 처리합니다.

Answer 3

해결 방안 : 파일을 팬더 데이터 프레임으로 만들려고 했습니까? 나는. 나는 당신이 이미 입력에서 단어 목록을 만든다고 가정합니다. (예 :.와 같은 읽기 기호를 제거하고) input.split ('') 또는 유사한 것을 사용합니다. 그런 다음 DataFrames로 만들고, 워드 카운트를 수행 한 다음 데카르트 조인을 만들 수 있습니까?

import pandas as pd 
df_1 = pd.DataFrame(src, columns=['word_1']) 
df_1['count_1'] = 1 
df_1 = df_1.groupby(['word_1']).sum() 
df_1 = df_1.reset_index() 

df_2 = pd.DataFrame(trg, columns=['word_2']) 
df_2['count_2'] = 1 
df_2 = df_2.groupby(['word_2']).sum() 
df_2 = df_2.reset_index() 

df_1['link'] = 1 
df_2['link'] = 1 

result_df = pd.merge(left=df_1, right=df_2, left_on='link', right_on='link') 
del result_df['link'] 

바구니 분석을 위해이 물건을 사용하면 정말 잘 작동합니다.