대용량 파일 읽기 (Java 힙 공간)

Question

CSV 파일을 읽고 모든 행에서 개체를 만든 다음이 개체를 데이터베이스에 저장하고 싶습니다. 내 파일에서 모든 행을 읽고 ArrayList 안에 모든 객체를 저장하면 Java 힙 공간 오류가 발생합니다. 읽기 직후 모든 레코드를 저장하려고 시도했지만, 하이버 네이트 메소드 save()로 레코드를 저장하는 것은 많은 시간이 걸린다.

또한이 크기가 100k (코드의 주석 부분) 일 때도 내 arrayList의 크기를 확인하고 데이터를 저장하려고했습니다.

질문 : Java로 데이터를 저장하는 부분적으로 또는 더 나은 방법으로 파일을 읽을 수있는 방법이 있습니까? 당신이 정말로 큰 파일을 처리 할 경우 최대 힙 크기의

String[] colNames; 
String[] values; 
String line; 
Map<Object1, Object1> newObject1Objects = new HashMap<Object1, Object1>(); 
Map<Object1, Integer> objIdMap = objDao.createObjIdMap(); 

    StringBuilder raportBuilder = new StringBuilder(); 
    Long lineCounter = 1L; 
     BufferedReader reader = new BufferedReader(new InputStreamReader(
       new FileInputStream(filename), "UTF-8")); 
     colNames = reader.readLine().split(";"); 
     int columnLength = colNames.length; 

     while ((line = reader.readLine()) != null) { 
      lineCounter++; 
      line = line.replace("\"", "").replace("=", ""); 
      values = line.split(";", columnLength); 

      // Object1 
      Object1 object1 = createObject1Object(values); 
      if (objIdMap.containsKey(object1)) { 
       object1.setObjId(objIdMap.get(object1)); 
      } else if (newObject1Objects.containsKey(object1)) { 
       object1 = newObject1Objects.get(object1); 
      } else { 
       newObject1Objects.put(object1, object1); 
      } 

      // ============================================== 
      // Object2 
      Object2 object2 = createObject2Object(values, object1, 
        lineCounter, raportBuilder); 
      listOfObject2.add(object2); 
      /* 
      logger.error("listOfObject2.size():"+listOfObject2.size()); 
      if(listOfObject2.size() % 100000 == 0){ 
       object2Dao.performImportOperation(listOfObject2); 
       listOfObject2.clear(); 
      } 
      */ 
     } 
     object2Dao.performImportOperation(listOfObject2); 

Answer 1

증가는 도움이되지 않습니다. 귀하의 친구는 batching입니다.

Hibernate는 암시 적으로 JDBC 일괄 처리를 사용하지 않으며 각 INSERT 및 UPDATE 문은 별도로 실행됩니다. 사용 방법에 대한 정보를 얻으려면 "How do you enable batch inserts in hibernate?"을 읽으십시오.

IDENTITY 생성기에주의하십시오. it disables batch fetching.