문자열을 작성하지 않고 JDBC를 사용하여 확장 삽입을 수행하는 방법은 무엇입니까?

Question

나는 로그 파일을 분석하고 방대한 양의 데이터를 데이터베이스에 삽입하는 응용 프로그램을 가지고있다. Java로 작성되었으며 JDBC를 통해 MySQL 데이터베이스와 통신합니다. 필자는 특정 유스 케이스에서 가장 빠른 데이터를 찾기 위해 여러 가지 방법을 실험했습니다. 현재 최고의 공연이 될 것 같다 하나는 다음과 같이 확장 삽입 (여러 행 예를 들어, 하나의 삽입)를 발행하는 것입니다

는

INSERT INTO the_table (col1, col2, ..., colN) VALUES 
(v1, v2, v3, ..., vN), 
(v1, v2, v3, ..., vN), 
..., 
(v1, v2, v3, ..., vN); 

행의 수는 수만이 될 수 있습니다.

나는 준비된 문장을 사용해 보았지만 아무런 차이가 없었습니다. 왜냐하면 각 삽입물이 여전히 DB에 개별적으로 보내졌고 테이블을 잠궈 둘 필요가 있기 때문입니다. 내 앞에있는 코드에서 일한 동료는 일괄 처리를 사용해 보았지만 성능이 좋지 않았습니다.

확장 삽입을 사용한다는 것은 SQL 문자열을 직접 작성해야한다는 것을 의미합니다 (행 수가 가변적이기 때문에). 모든 종류의 SQL 주입 벡터를 열 수 있다는 것을 의미합니다. 나는 내 자신을 발견 할 정도로 지능이 없습니다. 이렇게하는 더 좋은 방법이 있어야합니다.

분명히 내가 삽입 한 문자열을 제외하고는 단지 str.replace("\"", "\\\""); (', ?, \에 대해 반복)과 같은 것으로 만 이스케이프하지만 분명히 충분하지 않을 것이라고 확신합니다. + 일괄 삽입

Answer 1

준비된 문 :

PreparedStatement stmt = con.prepareStatement(
"INSERT INTO employees VALUES (?, ?)"); 

stmt.setInt(1, 101); 
stmt.setString(2, "Paolo Rossi"); 
stmt.addBatch(); 

stmt.setInt(1, 102); 
stmt.setString(2, "Franco Bianchi"); 
stmt.addBatch(); 

// as many as you want 
stmt.executeBatch(); 

Answer 2

나는 당신의 삽입을 일괄 처리 시도하고 그 수행 방법을 볼 것이다.

일괄 처리에 대한 자세한 내용은이 (http://www.onjava.com/pub/a/onjava/excerpt/javaentnut_2/index3.html?page=2)을 읽으십시오.

Answer 3

수만 건의 레코드를로드하는 경우 대량로드를 사용하는 것이 좋습니다. 나는 그것이 MySQL의가에서보다 열을 많이 삽입 많이 긴 시간을 내 코드를했다 눈치 때문에 확장 삽입 및 배치 단일 삽입의 차이에 관한

는

http://dev.mysql.com/doc/refman/5.0/en/load-data.html

Answer 4

, 그 이유는 내가 확장 삽입을 사용하는 것입니다 결정 단말기. 이것은 5000의 일괄 처리로 인서트를 일괄 처리하는 경우에도 마찬가지였습니다. 결국 솔루션은 확장 된 인서트를 사용하는 것이 었습니다.

나는이 이론을 빨리 재검토했다.

나는 120 만 행의 테이블을 두 번 덤프했습니다. 당신이 mysqldump를 함께 얻을 기본 확장 삽입 문 및 사용하여 다른를 사용하여 하나 :

mysqldump --skip-extended-insert 

그때 나는 단순히 새로운 테이블로 다시 파일을 수입하고 시간이 초과되었습니다.

확장 삽입 테스트는 1m35s에서 완료되고 다른 테스트는 3m49s에서 완료됩니다.