대량 나는이 읽기 파이썬

Question

사용 SQLite는에 거대한 데이터를 삽입 : Importing a CSV file into a sqlite3 database table using Python

을하고 모든 사람이 한 줄 한 줄을 읽는 대신에 SQLite는에서 대량 .import를 사용하여 제안 것으로 보인다. 그러나 수백만 행의 데이터가 있으면 삽입 속도가 느려집니다. 이것을 피할 수있는 다른 방법이 있습니까?

업데이트 : 다음 코드를 한 줄씩 삽입하려고했지만 속도가 예상보다 좋지 않습니다. 단지 BEGIN 및 COMMIT로 삽입을 둘러싼하여 단일 트랜잭션에서 모두를 할 수 있는지 확인하십시오, 그것은

for logFileName in allLogFilesName: 
    logFile = codecs.open(logFileName, 'rb', encoding='utf-8') 
    for logLine in logFile: 
     logLineAsList = logLine.split('\t') 
     output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList) 
    logFile.close() 
connection.commit() 
connection.close() 

Answer 1

발전기 표현식을 사용하여 데이터를 즉시 조각으로 나누고 트랜잭션 내부에 삽입합니다. 여기 sqlite optimization FAQ에서 인용입니다 :

을 이미 트랜잭션에 각 SQL 문은 새로운 트랜잭션이 그것을 시작하지 않는 한. 각 문에 대해 재개, 쓰 기 및 저널 파일 닫기가 필요하기 때문에 이는 매우 비쌉니다. 이는 SQL 문 의 시퀀스를 BEGIN TRANSACTION으로 래핑하면 피할 수 있습니다. 및 END TRANSACTION; 진술. 이 속도 향상 은 데이터베이스를 변경하지 않는 명령문에 대해서도 얻을 수 있습니다.

Here's 코드의 모양

또한 sqlite의 능력은 import CSV files입니다.

Answer 2

SQLite는이 tens of thousands of inserts per second을 할 수있는 개선 어쨌든있다. (executemany()는 자동으로이 작업을 수행합니다.)

속도가 문제가된다는 것을 알기도 전에 항상 최적화하지 마십시오. 가장 쉬운 솔루션을 먼저 테스트하고 속도가 받아 들일 수없는 경우에만 최적화하십시오.

Answer 3

이것은 Google 검색에서 가장 좋은 결과이므로이 질문을 업데이트하는 것이 좋습니다. python sqlite docs에서

당신은 내가 한 번에 5 만여 행 삽입을 저지하기 위해이 방법을 사용하고이 번개 빨리

import sqlite3 

persons = [ 
    ("Hugo", "Boss"), 
    ("Calvin", "Klein") 
] 

con = sqlite3.connect(":memory:") 

# Create the table 
con.execute("create table person(firstname, lastname)") 

# Fill the table 
con.executemany("insert into person(firstname, lastname) values (?,?)", persons) 

를 사용할 수 있습니다.