나는 최근에 수백만 개의 키/값 쌍을 하드 디스크에 저장하려고합니다. 데이터는 다음과 같이이다필자의 경우 데이터를 저장하는 가장 효율적인 방법은 무엇입니까?
그리고 파이썬이나 R을 통해 키의 값 중 일부를 자주 검색하고 싶습니다. 검색 속도와 저장 작업면에서 어떤 데이터베이스를 사용해야합니까? (예 : mongodb, hdf5 또는 sql?) 감사합니다!
그럼 key-value 쌍만 취급하는 경우 Mongo이 가장 잘 작동합니다. 그러나 RDBMS 기능 중 일부가 여전히 필요하다면 Postgre의 최신 버전은 JSON을 완벽하게 지원하지만 Mongo만큼 좋지 않으므로 PostgreSQL 9.5/9.6을 확인하십시오.
또한 big-data이 염려되는 경우 위에 나열된 데이터베이스 중 하나에 Redis을 사용하여 일부 캐싱을 사용해보십시오.
감사합니다! 여기에있는 데이터는 모두 길이가 고정 된 정수 배열입니다. 몽고는 이것을 가장 효율적으로 보관합니까? 배열의 일부 값을 변경하려면 어떻게해야합니까? – user112758
기본적으로'CRUD'라고하지 않습니까? 모든 데이터베이스가 그렇게합니다. 데이터베이스는 애플리케이션의 장기 실행에 정말로 중요합니다. 모든 것이 나중에 안정되기를 바라기 때문에 RESEARCH에 많은 시간을주십시오. 고려하는 모든 데이터베이스의 벤치마킹을 고려하십시오. 어쩌면 데이터베이스 구조를 수정하고 최적화를 위해 여러 번 설계해야 할 것입니다. – Pragun
귀하의 질문은 너무 광범위합니다 ** [** 주제 해제 **] (http://stackoverflow.com/help/on-topic) –