JDBC + 대형 PostgreSQL의 쿼리는 메모리

Question

나는 큰 결과를 반환하는 PostgreSQL의 쿼리를 실행하기 위해 노력하고있어

에서 제공 :

connection.setAutoCommit(false); 
st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 
st.setFetchSize(100); 
logMemory(); 
System.out.println("start query "); 
rs = st.executeQuery(queryString); 
System.out.println("done query "); 
logMemory(); 

을하지만,이 메모리를 많이 사용

Free memory; 4094347680 (= 3905 mb). 
start query 
done query 
Free memory; 2051038576 (= 1956 mb). 

을 (Runtime.getRuntime(). freeMemory())와 함께 인쇄됩니다.

지금까지는 작동하지만 데이터베이스는 훨씬 커질 것입니다. 나는 전체 결과를 기억할 필요가 없다. 각 행을 처리하고 결과를 디스크에 쓰고 다음 행으로 이동하면됩니다.

'setFetchSize'는 힌트 일 뿐이며, postgresql/jdbc가 무시할 경우 이상하게 느껴질 것입니다.

이 문제를 해결할 수있는 방법은 없나요? 내 유일한 생각은 지금까지 쿼리 결과를 디스크로 스트리밍하고 Java에서 파일을 구문 분석하는 배치 스크립트를 작성하는 것입니다 ...

Answer 1

아쉽게도 이것은 내가 본 JDBC를 사용하는 가장 불쾌한 버그 중 하나입니다. (당신이 커서 다른 기준을 충족 한대로) 당신은 어쩌면 단순히

st = connection.createStatement(); 

뿐만 아니라 작동합니다

st = connection.createStatement(
    ResultSet.TYPE_FORWARD_ONLY, 
    ResultSet.CONCUR_READ_ONLY 
); 

에

st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 

을 변경해야합니다.

Answer 2

Here은 결과 세트가 실제로 커서로 검색되도록하는 지침입니다 . 코드에서 알려진 모든 것을 치는 것처럼 보일 지 모르지만 명령문을 지정하지 않았으므로 세미콜론과 함께 여러 개 연결될 수 있습니다 (드물 긴하지만 코드 모양으로). V3 프로토콜 (버전 7.4 이상)을 사용해야합니다. 이 모든 것들이 당신의 사건에 적용됩니까?