네이티브 mongoimport 도구를 사용하여 MongoDB로 가져 오는 9 M 레코드의 2GB CSV 파일이 있습니다. 초당 8K의 속도로 CSV를 가져옵니다. 총 소요 시간은 10 분입니다. 임포트 속도는 꽤 빠르지 만 MySQL LOAD DATA INFILE 버전보다 훨씬 느립니다 (모든 레코드를 데이터베이스에 삽입하는 데 2 분 밖에 걸리지 않습니다). 이것이 받아 들일 수있는 동안 (MongoDB는 JSON 타입 객체를 위해 만들어졌고 일반적으로 속도 향상은 쿼리하는 것이지 삽입하는 것이 아닙니다), MongoDB mongoimport에서 초 당 삽입 횟수를 높일 수있는 방법이 있는지 알고 싶습니다. ? RAM이 8GB이고 코어가 4 개인 컴퓨터가 하나뿐입니다. 감사합니다. .MONGODB 몽고 발 빠른 속도?
2
A
답변
6
대부분의 경우 JSON 객체를 BSON (원시 MongoDB 형식)으로 직렬화하는 데 많은 시간이 소요될 수 있으므로 파일을 분할하고 각각 별도의 파일로 mongoimport를 실행하는 여러 병렬 작업을 수행하면 더 빨리 가져올 수 있습니다.
+0
감사합니다. 좋은 지적입니다. 시도해 보겠습니다. – Sai
관련 문제
- 1. 몽고 (Mongodb)는 $ 또는
- 2. 몽고 (Mongodb) 배열 구조
- 3. 몽고 (Mongodb) 인덱싱 제안
- 4. 몽고 (Mongodb) 기간
- 5. SQL Server와 MongoDB : 속도 테스트?
- 6. MongoDb 속도 감소
- 7. 몽고 (Mongodb) 가져 오기 오류
- 8. 몽고 (mongodb) 오브젝트의 일부분을 늘리십시오.
- 9. 몽고 (Mongodb) - 기간별로 쿼리하려면 어떻게해야합니까?
- 10. 몽고 (Mongodb) - 사용자 인증 실패
- 11. 몽고 (mongodb) 1에서 1까지 임베딩
- 12. 몽고 샤딩은 기존 몽고 인스턴스
- 13. mongodb 빠른 태그 쿼리
- 14. 는 마지막 발 및 스칼라에서 발
- 15. 엄청난 수의 조합에 대한 몽고 (mongodb) '레이아웃'
- 16. 몽고 교 (Mongodb) 관계 방식 변경
- 17. 실시간 집계 및 저장을위한 몽고 (Mongodb) 디자인?
- 18. 몽고 스킨 (node.js 및 mongodb)으로 업다운
- 19. mongodb 전체에 flitering에 대한 몽고 쿼리
- 20. MongoDB 입문 : 몽고 쉘에 들어갈 수 없습니다.
- 21. 몽고 (Mongodb) 풀기 동안 집계가있는 16MB 제한
- 22. 몽고 (mongodb) addtoSet을 사용하여 중복이 없음을 확인하십시오
- 23. 중복 색인에 대한 몽고 (mongodb) 오류
- 24. 루비와 몽고 (mongodb)를 사용한 공간 클러스터링
- 25. 몽고 (Mongodb)가 문서의 특정 부분을 가져옴
- 26. 필드를 결합하여 컬렉션을 형성하는 몽고 (mongodb)
- 27. 몽고 (Mongodb)는 연결을 해제하지 않습니까?
- 28. 몽고 (Mongodb) 업데이트 문서 수 제한
- 29. 의 발 빠른 NSTimer 내가의 런타임 오류 받고 있어요
- 30. 스칼라 : 발
두 번째 디스크에 넣고 색인이 없는지 확인하십시오 ... 저널링 끄기 ... 디스크와 CPU가 망치질 않는다면 읽을 코드를 작성할 수 있습니다 파일을 삽입하고 더 빨리 삽입하십시오. 아니면 그냥 쉬고 나서 기다리십시오. :) – WiredPrairie
Ok 네이티브 가져 오기 도구는 "파일을 실행하고 배치 삽입을 수행하는 코드 조각"보다 빠를 것이라고 생각했습니다. 내 편이 오해입니까? – Sai
컴퓨터가 실제로 사용 중입니까? 아마 컴퓨터가 할 수있는만큼 좋은 것입니다. – WiredPrairie