하나씩 데이터베이스에서 결과 가져 오기

Question

데이터베이스 (단일 테이블)의 결과를 쿼리하는 작은 프로그램을 작성하고 있습니다. 파이썬 3.3, sqlalchemy 및 postgres 데이터베이스를 사용하고 있습니다.

result = db_session.query(Data).all() 
progress = 0 
for row in result: 
    update_progress_bar(progress, len(result)) 
    do_something_with_data(row) 
    progress += 1 

변수 '결과'에는 수천 개의 행이 포함되며 데이터 처리에는 다소 시간이 걸립니다. 그래서 간단한 진도 표시 줄을 도입하여 병사가 어떻게 걸릴지 생각해보십시오. 문제는 전체 시간의 30 %가 데이터베이스를 큐잉한다는 것입니다 (첫 번째 줄). 그래서 프로그램을 시작할 때 진행 막대가 움직이기 전에 나는 커다란 지체를 갖습니다. 또한 모든 결과를 기억할 필요가 없습니다. 별도로 처리 할 수 ​​있습니다.

모든 프로그램을 메모리에로드하지 않고 모든 행을 수신 할 때까지 하나씩 행을 얻으려면 위의 프로그램을 수정할 방법이 있습니까? 또한 데이터 쿼리 및 처리 진행 상황을 모니터링하고 싶습니다. ,

for row in db_session.query(Data).yield_per(10): 
    do_something_with_data(row) 

.all() 참으로 목록 첫로 설정 한 전체 결과를집니다 :

Answer 1

당신은 배치 크기를 설정 .all(), 및 전화 .yield_per()를 호출없이 쿼리 이상 단지 루프에 필요 결과 집합이 클 경우 지연이 발생합니다. 데이터베이스 API가을 제공하는 경우 .yield_per()을 설정 한 후 쿼리를 직접 반복하여 필요한 결과를 가져 오는 대신 을 가져옵니다.

당신은 선행 많은 행이 반환되는 방법을 먼저 .count() 전화를 알고 싶어하는 경우 :

result = db_session.query(Data) 
count = result.count() 

for row in result.yield_per(10): 
    update_progress_bar(progress, count) 
    do_something_with_data(row) 
    progress += 1 

.count() 먼저 우리를 위해 계산 우리에게 항목을 제공 할 수있는 데이터베이스 요청합니다.

데이터베이스는 여전히 일 수 있으며 결과 행을 사전 캐싱해야하므로 .yield_per()을 사용하는 경우에도 시작 지연이 발생할 수 있습니다. 이 경우 windowed query을 사용하여 열의 의 값 범위를 기반으로 블록으로 쿼리를 분할해야합니다. 웨더 여부는 정확한 테이블 레이아웃에 따라 다릅니다.