파이썬 텍스트 파일 분할

Question

현재 많은 시간이 소요되는 텍스트 파일에 대해 일부 처리를 수행합니다. 나는 활동 모니터에서 현재 응용 프로그램이 단지 하나의 쓰레드만을 사용한다는 사실을 관찰했다. 그래서 파일을 multiprocessing.cpu_count() 파일로 분할하고 별도의 동일한 프로세스를 수행하기로 결정했다.

내 코드를 다음과 같이

with open(filename) as f: 
    files = f.splitinto(cpu_count) 
    for file in files: 
     "start the threads to do the same process for each file" 

Answer 1

file.readlines() 당신에게 목록으로 텍스트 파일의 라인을 제공합니다

with open(filename) as f: 
    "do the process" 

나는이 점을 변경하고 싶습니다. 즉, 100 줄의 텍스트 파일이있는 경우 readlines()은 list 길이 100을 제공합니다. 각 항목은 파일의 한 줄입니다. 이에 이어, 당신은 할 수 있습니다 :

with open('test.txt', 'r') as myfile: 
    lines = myfile.readlines() 
    lines_list[0] = lines[0:len(lines)/cpu_count) 
    # ... and so on.. 

된 후에는 선을 분할하고 그러나 당신이 원하는을 처리 할 수 ​​있습니다.