특대 json 파일 작업. 항상 메모리 부족으로 돌아 가기

Question

jackson에서 스트림 API json을 사용하는 방법은 무엇입니까? 아래 코드를 참조하십시오.

ObjectMapper mapper = new ObjectMapper(); 

    Map<String, Object> map = new HashMap<String, Object>(); 

    List<Object> list = new ArrayList<Object>(); 

    // Get images in database 
    try { 
      Class.forName(DRIVER); 
      connection = DriverManager.getConnection(URL, USER, PASSWORD); 

      Statement s = connection.createStatement(); 
      ResultSet r = s.executeQuery("select * from images"); 

      while (r.next()) { 

       byte[] imageBytes = r.getBytes("image"); 
       String imageBase64 = DatatypeConverter.printBase64Binary(imageBytes); 
       list.add(imageBase64); 
      } 

    } catch (SQLException e) { 

    } 

    map.put("images", list); 

    // Stream Json API 
    try { 
      mapper.writeValue(new File("c:\\images.json"), map); 
    } catch (JsonGenerationException e) { 
      e.printStackTrace(); 
    } catch (JsonMappingException e) { 
      e.printStackTrace(); 
    } catch (IOException e) { 
      e.printStackTrace(); 
    } 

항상 메모리를 반환하십시오. 나는 잭슨과 함께 시내를 사용하는 것을 모른다. 나는 여분의 큰 json, 평균 2000 이미지, 각 이미지에 imageBase64 작업했습니다. 내가 도대체 ​​뭘 잘못하고있는 겁니까?

Answer 1

모든 이미지를 메모리에 유지하는 대신 점진적으로 읽고 쓰십시오. Jackson Streaming API의 예는 here ("이벤트 스트림 읽기 및 쓰기")을 참조하십시오.

편집 :이 사람을 알아 내기 위해 너무 어렵다 ...하지만 여기 골격 예제해야

// typed from memory, some methods may be off a bit 
JsonFactory f = objectMapper.getFactory(); 
JsonGenerator gen = f.createGenerator(new File("c:\\images.json")); 
gen.writeStartArray(); // to get array of objects 
// get the DB connection etc 
while (r.next()) { 
    gen.writeFieldName("image"); 
    InputStream in = r.getBinaryStream("image"); 
    gen.writeBinary(in, -1); // length optional for JSON 
    in.close(); 
} 

gen.writeEndArray(); // 객체의 배열을 얻는다 gen.close();

그 트릭을해야합니다.