Python - 파일에서 열 반복자 가져 오기 (전체 파일을 읽지 않고)

Question

나의 주요 목표는 거대한 행렬 행렬에서 중앙값 (열 기준)을 계산하는 것입니다. 예 :

a = numpy.array(([1,1,3,2,7],[4,5,8,2,3],[1,6,9,3,2])) 

numpy.median(a, axis=0) 

Out[38]: array([ 1., 5., 8., 2., 3.]) 

매트릭스 파이썬 메모리 (~ 5 테라 바이트)에 맞게 너무 커서, 그래서 csv 파일에 보관합니다. 그래서 각 열을 실행하고 중간 값을 계산하고 싶습니다.

전체 파일을 읽지 않고도 열 반복기를 사용할 수있는 방법이 있습니까?

매트릭스의 중앙값 계산에 대한 다른 아이디어도 좋습니다. 고맙습니다!

Answer 1

N 개의 빈 파일을 초기화하여 각 열에 하나씩이 작업을 수행합니다. 그런 다음 한 번에 한 행씩 행렬을 읽고 각 열 항목을 올바른 파일로 보냅니다. 전체 행렬을 처리했으면 돌아가서 순차적으로 각 파일의 중앙값을 계산하십시오.

기본적으로 파일 시스템을 사용하여 행렬 전치를 수행합니다. 전치 된 후에는 각 행의 중앙값을 계산하는 것이 쉽습니다. 당신이 (당신은 당신이 할 수있는 것을 의미하는 것) 메모리에 각 열을 맞는 경우

Answer 2

, 다음이 작동합니다 :

이것은 우리가 얼마나 많은 열을 알아내는 방식으로 작동

import itertools 
import csv 

def columns(file_name): 
    with open(file_name) as file: 
     data = csv.reader(file) 
     columns = len(next(data)) 
    for column in range(columns): 
     with open(file_name) as file: 
      data = csv.reader(file) 
      yield [row[column] for row in data] 

는 다음 파일을 통해 반복 현재 행의 항목을 각 행에서 가져옵니다. 즉, 한 번에 열 크기와 메모리 행 크기를 함께 사용합니다. 꽤 간단한 생성기입니다. 파일을 반복 할 때 루프를 반복 할 때마다 파일을 다시 열어야합니다.

Answer 3

bucketsort를 사용하여 디스크의 각 열을 모두 메모리로 읽어 들이지 않고 정렬 할 수 있습니다. 그런 다음 중간 값을 간단히 선택할 수 있습니다.

또는 awk 및 sort 명령을 사용하여 중간 값을 선택하기 전에 열을 분할 한 다음 정렬 할 수 있습니다.

Answer 4

내가 잘못 이해하지 않는 한, 당신이 csv 파일로 요청한 것을 직접 할 방법이 없을 것입니다. 문제는 파일이 고정 너비 행을 갖도록 특별히 설계되지 않는 한 모든 파일에 "열"이 있다는 의미가 없음을 의미합니다. CSV 파일은 일반적으로 그렇게 설계되지 않았습니다. 디스크에, 그들은 거대한 문자열에 지나지 것 없다 : 당신이 볼 수 있듯이

>>> import csv 
>>> with open('foo.csv', 'wb') as f: 
...  writer = csv.writer(f) 
...  for i in range(0, 100, 10): 
...   writer.writerow(range(i, i + 10)) 
... 
>>> with open('foo.csv', 'r') as f: 
...  f.read() 
... 
'0,1,2,3,4,5,6,7,8,9\r\n10,11,12,13,14,15,16,17,18,19\r\n20..(output truncated).. 

는, 열 필드가 예상대로 정렬되지 않는다; 두 번째 열은 인덱스 2에서 시작하지만 다음 행에서는 열의 너비가 1 씩 증가하여 정렬을 버립니다. 입력 길이가 다를 때 더욱 그렇습니다. 결론은 csv 리더가 사용하지 않는 데이터를 버리고 전체 파일을 읽어야한다는 것입니다. (걱정하지 않는다면, 그 답입니다. 사용하지 않을 데이터를 버리고, 전체 파일을 한 줄씩 읽으십시오.)

공간을 낭비하지 않고 어떤 데이터도 고정 너비보다 길어지지 않습니다. 너비가 고정 된 필드를 가진 파일을 만들 수 있습니다. 그런 다음 오프셋을 사용하여 찾을 수 있습니다. 하지만 일단 그렇게하면 실제 데이터베이스를 사용할 수도 있습니다. PyTables은 수많은 배열을 저장하기 위해 많은 사람들이 선호하는 것으로 보인다.