텍스트 파일에서 시장 매트릭스 형식으로

Question

저는 파이썬으로 작업 중이며 텍스트 파일에 매트릭스가 저장되어 있습니다. 텍스트 파일 등의 형식으로 배열된다

ROW_ID,
ROW_ID을 col_id
...
ROW_ID을 col_id,

ROW_ID 및 col_id이 정수인 col_id 그들은 0의 값을 취 n (row_id와 col_id에 대해 n을 알기 위해서는 먼저 전체 파일을 스캔해야합니다).

헤더가없고 row_ids와 col_ids가 파일에 여러 번 나타나지만 각 행 row_id, col_id 조합은 한 번 나타납니다. 각 조합 row_id, col_id에 대한 명시적인 값은 없습니다. 실제로 각 셀 값은 1입니다. 파일 크기는 거의 1 기가 바이트입니다.

불행히도 파일은 메모리에서 처리하기가 어렵습니다. 실제로 26622704 개 요소의 경우 2257205 row_ids 및 122905 col_ids입니다. 그래서 나는 그것을 다루는 더 나은 방법을 찾고있었습니다. 매트릭스 시장 형식은이를 처리 할 방법이 될 수 있습니다.

이 파일을 Python을 사용하여 시장 매트릭스 형식 (http://math.nist.gov/MatrixMarket/formats.html#mtx)의 파일로 변환하는 빠르고 효율적인 방법이 있습니까?

Answer 1

이러한 매트릭스를 처리하는 빠르고 효율적인 방법이 있습니다 : sparse matrices offered by SciPy을 사용합니다 (이것은 사실상 파이썬의 표준입니다). N 크기의 행렬

N 기준 :

from scipy.sparse import lil_matrix 

result = lil_matrix((N, N)) # In order to save memory, one may add: dtype=bool, or dtype=numpy.int8 

with open('matrix.csv') as input_file: 
    for line in input_file: 
     x, y = map(int, line.split(',', 1)) # The "1" is only here to speed the splitting up 
     result[x, y] = 1 

(또는 하나 개의 라인 대신 2 : result[map(int, line.split(',', 1))] = 1).

split()에 주어진 인수 1은 좌표를 파싱 할 때 속도를 높이기 위해 여기에 있습니다. 첫 번째 (및 유일한) 쉼표가있는 경우 Python이 줄의 구문 분석을 중지하도록 지시합니다. 1GB 파일을 읽는 중이므로 문제가 될 수 있습니다.

필요에 따라 SciPy에서 제공하는 the other six sparse matrix representations 중 하나가 더 적합 할 수 있습니다.

더 빠르고 더 많은 메모리를 필요로하는 배열의 경우 result = numpy.array(…) (NumPy 포함)을 대신 사용할 수 있습니다.

MatrixMarket MM 형식

Answer 2

내가 뭔가를 놓친 거지 않는 한 ... 상기 치수 라인과 "행 안부 값"입니다. 이미 행과 열이 있고 모든 값이 1 인 경우 값을 추가하기 만하면됩니다.

은 단순히 좌표가 하나의 오프셋을 경우 작동해야 그

n=`wc -l file` 
echo "2257205 122905 $n" > file.mm 
cat file | sed -e 's/$/ 1/g' >> file.mm 

에로 sed를 사용하는 것이 더 쉬울 수 없다. 오프셋이 0 인 경우 각 좌표에 +1을 추가하고 좌표를 읽고 각각에 하나씩 추가하고 coordx, coordy, "1"을 인쇄해야합니다. Awk이나 Python에서 쉘로 할 수있는 일은 거의 없습니다.

Q & D 코드 (테스트되지 않은, 힌트, YMMV 당신이 어떤 값을 계산하는 사전 처리에 파일을 할 수 있습니다대로 생산) : 쉘에서

을

파이썬에서

echo "2257205 122905 $n" 
cat file | while read x,y ; do x=$((x+1)); y=$((y+1)); echo "$x $y 1" ; done 

, 더 이하 ...

f=open("file") 
lines=f.readlines() 
print 2257205, 122905, len(lines) 
for l in lines: 
    (x,y) = l.split(' ') 
    x = int(x) + 1 
    y = int(y) + 1 
    print x, y, 1 

또는 뭔가 빠졌습니까?