메서드가 너무 오래 걸린다

Question

필자는 Oracle 서버에서 데이터를 수집하고 데이터를 포맷하고 암호화 한 다음 MS SQL 서버에 삽입하는 메소드를 작성했습니다. 이 방법은 약 60000 개의 레코드를 이동시키고 약간 길어 약간 엉성합니다. 누구나 그것을 정리하고 더 빨리 할 수있는 장소를 볼 수 있습니까?

개선해야 할 부분은 결과 세트가 목록에 추가 될 때입니다. List가 MS SQL 테이블에 한 번에 1000 행 씩 삽입 될 때.

public static void get_random_selection(Connection ora_conn, Connection sql_conn) throws Exception, SQLException{ 

    Statement sql_stmt = sql_conn.createStatement(); 
    Statement ora_stmt = ora_conn.createStatement(); 

    ResultSet sql_rs = null; 
    ResultSet ora_rs = null; 

    //Select the max QUARTER from RANDOM_SELECTION in MS SQL 
    sql_rs = sql_stmt.executeQuery("SELECT MAX(QUARTER) FROM RANDOM_SELECTION"); 

    sql_rs.next(); 
    int max_from_mssql = sql_rs.getInt(1); 

    ora_rs = ora_stmt.executeQuery("SELECT MAX(QUARTER) FROM RANDOM_SELECTION"); 

    ora_rs.next(); 
    int max_from_oracle = ora_rs.getInt(1); 

    //If the max_from_oracle is larger than max_from_mssql than the AL's and RL's in Oracle 
    //are fresher and need to be moved to MS SQL 
    //if (max_from_oracle > max_from_mssql){ 
    if(1==1){ 

     System.out.println("The RANDOM_SELECTION table in Oracle is more up to date than the RANDOM_SELECTION table in MS SQL."); 

     System.out.println("Retrieving RANDOM_SELECTION data from Oracle."); 

     //select items from RANDOM_SELECTION and DROPPER_CITY_BRK_2 that need to be moved 
     ora_rs = ora_stmt.executeQuery("select distinct(random_selection.randnum), " 
          + "random_selection.quarter, " 
          + "random_selection.ozip3, " 
          + "random_selection.boxid, " 
          + "random_selection.boxaddr, " 
          + "random_selection.locdesc, " 
          + "random_selection.loccity, " 
          + "random_selection.lastmf, " 
          + "random_selection.lastsat, " 
          + "random_selection.boxtype, " 
          + "random_selection.svcclas, " 
          + "random_selection.dropzip5, " 
          + "random_selection.dropper_id " 
         + "from random_selection " 
         + "where random_selection.dropper_id is not null " 
         + "and random_selection.quarter = " + max_from_oracle + " " 

        + "union " 

         + "select distinct(random_selection.randnum), " 
          + "random_selection.quarter, " 
          + "random_selection.ozip3, " 
          + "random_selection.boxid, " 
          + "random_selection.boxaddr, " 
          + "random_selection.locdesc, " 
          + "random_selection.loccity, " 
          + "random_selection.lastmf, " 
          + "random_selection.lastsat, " 
          + "random_selection.boxtype, " 
          + "random_selection.svcclas, " 
          + "random_selection.dropzip5, " 
          + "dropper_city_brk_2.dropper_id " 
         + "from random_selection, dropper_city_brk_2, dropper " 
         + "where random_selection.ozip3 = dropper_city_brk_2.zip3 " 
         + "and dropper.dropper_id = dropper_city_brk_2.dropper_id " 
         + "and dropper.active = 1 " 
         + "and dropper_city_brk_2.dropper_id <> 10002 " 
         + "and random_selection.quarter = " + max_from_oracle + " " 
         + "and random_selection.dropper_id is null"); 

     System.out.println("Retrieved RANDOM_SELECTION data from Oracle."); 

     List<String[]> random_selection = new ArrayList<String[]>(); 

     System.out.println("Assigning ResultSet to List."); 

     while (ora_rs.next()){ 
      random_selection.add(new String[]{ 
       ora_rs.getString("RANDNUM"), 
       ora_rs.getString("QUARTER"), 
       ora_rs.getString("OZIP3"), 
       ora_rs.getString("BOXID"), 
       ora_rs.getString("BOXADDR").replace("'"," "), 
       ora_rs.getString("LOCDESC") == null ? ora_rs.getString("LOCDESC") : ora_rs.getString("LOCDESC").replace("'",""), 
       ora_rs.getString("LOCCITY").replace("'", " "), 
       ora_rs.getString("LASTMF"), 
       ora_rs.getString("LASTSAT").equals("11:58pm") ? "null": ora_rs.getString("LASTSAT"), 
       ora_rs.getString("BOXTYPE"), 
       ora_rs.getString("SVCCLAS"), 
       ora_rs.getString("DROPZIP5"), 
       ora_rs.getString("DROPPER_ID")}); 

      System.out.println(ora_rs.getRow()); 
     } 

     System.out.println("Finished assigning ResultSet to List."); 

     //leading statement for the following loop 
     String query = "insert into random_selection " 
        + "(RANDNUM,QUARTER,OZIP3,BOXID,BOXADDR,LOCDESC,LOCCITY,LASTMF,LASTSAT,BOXTYPE,SVCCLAS,DROPZIP5,DROPPER_ID) VALUES"; 

     int jj = 0; 

     //loop through random_selection_array creating an INSERT statement to insert 999 entries at a time 
     //this is done to speed up the process 
     for(int ii = 0;ii<random_selection.size();ii++){ 

      String[] array_holder = random_selection.get(ii); 

      query = query 
        + "(" 
        + "'"+array_holder[0]+"'," 
        + "'"+array_holder[1]+"'," 
        + "'"+array_holder[2]+"'," 
        + "'"+array_holder[3]+"'," 
        + "'"+array_holder[4]+"'," 
        + "'"+array_holder[5]+"'," 
        + "'"+array_holder[6]+"'," 
        + "'"+array_holder[7]+"'," 
        + "'"+array_holder[8]+"'," 
        + "'"+array_holder[9]+"'," 
        + "'"+array_holder[10]+"'," 
        + "'"+array_holder[11]+"'," 
        + "'"+new sun.misc.BASE64Encoder().encode(encrypt(array_holder[12]))+"'),"; 

      //every 999 iterations enter here 
      if (jj > 998){ 
       //add |%| to the end of the string so that you can remove the final ',' 
       query = query+"|%|"; 
       query = query.replace(",|%|",""); 

       System.out.println(query); 

       //sql_stmt.executeUpdate(query); 
       query = "insert into random_selection (RANDNUM,QUARTER,OZIP3,BOXID,BOXADDR,LOCDESC,LOCCITY,LASTMF,LASTSAT,BOXTYPE,SVCCLAS,DROPZIP5,DROPPER_ID) VALUES"; 
       jj = 0; 
      } 
      jj++; 

      //the last few entries will be added one at a time to prevent nulls records from being inserted 
      if (ii > (random_selection.size()/999) * 999){ 
       //add |%| to the end of the string so that you can remove the final ',' 
       query = query+"|%|"; 
       query = query.replace(",|%|",""); 

       System.out.println(query); 

       //sql_stmt.executeUpdate(query); 
       query = "insert into random_selection (RANDNUM,QUARTER,OZIP3,BOXID,BOXADDR,LOCDESC,LOCCITY,LASTMF,LASTSAT,BOXTYPE,SVCCLAS,DROPZIP5,DROPPER_ID) VALUES"; 
      } 
     } 
    } 
} 

클라이언트가이 개 서버간에 열려있는 연결을 삼가하고 싶어 : 여기

는 코드입니다.

Answer 1

이 문제는 MS SQL 서버에서 많은 수의 삽입이 이루어질 때 발생할 수 있습니다. 그렇게하는 것은 그리 효율적이지 않습니다.

두 데이터베이스간에 (연결하지 않고) 데이터를 전송하는 올바른 방법은 bcp 행을 넣고 빼는 것입니다.

먼저 sybase 외부에서 BCP에 대한 경험이 없습니다.

1. 데이터를 MS bcp 형식으로 가져 오는 방법을 설명합니다. 이것이 할 수있는 몇 가지 방법이 있습니다. 나는 거기에서 오라클 db와 bcp에 필요한 모든 것을 가진 뷰를 만들려고 시도 하겠지만, 그것은 encrypt()와는 가능하지 않을 수도있다. 에서

2. BCP. 대신 추측의 모든

Answer 2

먼저, 당신은 실제로 실제로 느린 생각하는 그 지역의 각 걸리는 시간을 콘솔에 쓰는 것이다. :) 둘째, 준비된 문장을 사용하고 addBatch와 executeBatch를 사용해야한다. C#에서는 SqlBulkCopy를 사용할 것이지만 Java에 클래스가 있다고 생각하지 않으므로 addBatch 및 executeBatch를 시도해야합니다. 너무 느리다면 대량 삽입을 사용합니다 : http://msdn.microsoft.com/en-us/library/ms188365.aspx