스프링 데이터를 통해 MongoDB에서 대규모 콜렉션 반복

Question

친구!

스프링 프로젝트를 통해 Java 프로젝트에서 MongoDB를 사용하고 있습니다. 저장소 인터페이스를 사용하여 컬렉션의 데이터에 액세스합니다. 일부 처리의 경우 컬렉션의 모든 요소를 ​​반복해야합니다. 나는 저장소의 fetchAll 메소드를 사용할 수 있지만 항상 ArrayList를 반환합니다.

그러나 컬렉션 중 하나가 커질 것으로 예상됩니다. 최대 100 만개의 레코드가 각각 수 킬로바이트입니다. 나는 그런 경우에 fetchAll을 사용하지 말아야한다고 생각하지만 일부 반복자 (부분적으로 콜렉션을 가져올 수 있도록 허용)를 반환하는 편리한 메소드 나 콜백을 사용하는 편리한 메소드를 찾지 못했습니다.

페이지에서 이러한 컬렉션을 검색하는 데 대한 지원 만 보았습니다. 그러한 컬렉션 작업을위한 유일한 방법인지 궁금합니다.

Answer 1

늦은 응답이지만, 나중에 누군가에게 도움이 될 것입니다 ..) 봄 데이터는 모든 API를 제공하지 않습니다. Mongo DB 커서 기능. 그것은 find 메쏘드 내에서 그것을 사용하지만, 항상 객체의 완성 된 목록을 반환합니다. 문서 기준에 따라 결과를 처리하기 위해

do{ 
    page = repository.findAll(new PageRequest(pageNumber, pageLimit)); 
    pageNumber++; 

}while (!page.isLastPage()); 

Answer 2

또 다른 방법 : 옵션은 직접 몽고의 API를 사용하거나 같은 봄 데이터 페이징 API, 뭔가를 사용한다.

http://docs.spring.io/spring-data/mongodb/docs/current/api/org/springframework/data/mongodb/core/MongoTemplate.html#executeQuery-org.springframework.data.mongodb.core.query.Query-java.lang.String-org.springframework.data.mongodb.core.DocumentCallbackHandler-

Answer 3

확인 새로운 방법 :

 final int pageLimit = 300; 
     int pageNumber = 0; 
     Page<T> page = repository.findAll(new PageRequest(pageNumber, pageLimit)); 
     while (page.hasNextPage()) { 
      processPageContent(page.getContent()); 
      page = repository.findAll(new PageRequest(++pageNumber, pageLimit)); 
     } 
     // process last page 
     processPageContent(page.getContent()); 

Answer 4

사용 MongoTemplate :: 스트림() 아마 가장 적절한 자바 래퍼 DBCursor하는

Answer 5

여전히 컬렉션에 액세스 할 수 mongoTemplate를 사용하여 간단하게 사용할 수 있습니다

DBCursor :

 DBCollection collection = mongoTemplate.getCollection("boundary"); 
    DBCursor cursor = collection.find();   
    while(cursor.hasNext()){ 
     DBObject obj = cursor.next(); 
     Object object = obj.get("polygons"); 
     .. 
     ... 
    } 

Answer 6

다음과 같이 DBCursor를 사용해보십시오.

DBObject query = new BasicDBObject(); //setup the query criteria 
    query.put("method", method); 
    query.put("ctime", (new BasicDBObject("$gte", bTime)).append("$lt", eTime)); 

    logger.debug("query: {}", query); 

    DBObject fields = new BasicDBObject(); //only get the needed fields. 
    fields.put("_id", 0); 
    fields.put("uId", 1); 
    fields.put("ctime", 1); 

    DBCursor dbCursor = mongoTemplate.getCollection("collectionName").find(query, fields); 

    while (dbCursor.hasNext()){ 
     DBObject object = dbCursor.next(); 
     logger.debug("object: {}", object); 
     //do something. 
    } 

Answer 7

개

스트림 커서 같은 : 많은 양의 데이터가 당신이 그들을 스트리밍 및 메모리 제한없이 라인으로 라인을 처리 할 수 ​​있습니다에 대한

이

@Query("{}") 
Stream<Alarm> findAllByCustomQueryAndStream(); 

그래서