다중 처리를 위해 파일을 청크로 나누는 방법

Question

파일이 약 1.5GB이고 파이썬으로 pp (병렬 파이썬) 모듈을 사용하여 각 청크를 처리하기 위해 다중 처리를 사용할 수 있도록 파일을 청크로 나누고 싶습니다. 지금까지 나는 파이썬에서 f.seek를 사용했지만 바이트로 바이트를 증가시킬 수 있기 때문에 많은 시간이 걸린다. 대체 방법은 무엇 일 수 있는가? 파이썬의 mrjob (map-reduce 패키지)을 통해이 작업을 수행 할 수 있습니까?

샘플 코드 :이

def multi(i,slots,,file_name,date): 
f1=open(date+'/'+file_name,"rb") 
f1.seek(i*slots*69) 
data=f1.read(69) 
counter=0 
print 'process',i 
while counter<slots: 
    ##do some processing 
    counter+=1 
    data=f1.read(69) 

처럼 내가 뭐하는 거지 뭔가 내 각 행은 69 바이트를 tupple 데이터를 포함하고 멀티 기능은 N 시간 평행라고합니다 (여기서 n은 슬롯과 동일) 작업을 할

Answer 1

파일에 여러 개의 핸들을 열지 않는 이유는 무엇입니까? 그렇게하면 핸들 당 한 번만 '검색'할 필요가 있습니다.

f1 = open('file') 

f2 = open('file') 
f2.seek(100) # in practice the number would be <file size>/<no of threads> 

f3 = open('file') 
f3.seek(200) 

Answer 2

가장 간단한 방법은 레코드를 읽고 반환하는 일반적인 기능입니다. 하지만 그 기능은 자물쇠로 보호됩니다. 아래와 같은 것. 필자는 파이썬 프로그래머가 아니므로 의사 코드를 해석해야합니다. 이제

f = open file 
l = new lock 

function read 
    acquire lock 
     read record 
    release lock 
    return record 

, 당신은 프로세서 코어가보다 더 이상 몇 스레드를 시작하지 않지만, 각각이 수행 : 모든 레코드에 대한 새 스레드를 시작하는 그래서 그 대신

while not end of file 
    record = read(); 
    process record 

을, 당신은 소수의 지속적인 스레드.

이렇게하는 또 다른 방법은 스레드를 읽기 전용으로 만드는 것입니다. 레코드를 읽고 스레드 안전 큐에 저장합니다. 대기열은 일부 크기 (100 개의 레코드, 10,000 개의 레코드 등)로 제한됩니다. 해당 큐에서 읽는 처리 스레드. 이 방법의 장점은 다른 스레드가 처리하는 동안 읽기 스레드가 큐를 채울 수 있다는 것입니다. 처리 스레드는 다음 레코드를 매우 빠르게 얻을 수 있습니다.