2012-03-23 2 views
5

2 억 5 천만 개의 String -> String 매핑을 저장해야하는데 데이터베이스가 이런 종류의 작업에 과부하 상태 인 것처럼 보입니다.내 텍스트 기반 데이터 저장소 만들기

힙 공간이 부족하므로 메모리에 저장할 수 없습니다. 나는 힙 공간을 확장 할 수는 있지만 이것을하지 않는 것이 좋습니다.

가능한 한 단일 매핑에 도달 할 수있는 빠른 액세스를 원하며 이에 대해 가장 좋은 방법을 알고 싶습니다.

초기 문자열은 고유하며 검색 대상은 무엇입니까? 문자열 길이가 놓이는 범위도 알지만 매핑 된 값은 길이가 될 수 있습니다.

검색을위한 데이터베이스만큼 빠른 것을 얻을 수 있습니까? 나는 짐작하지만, 단지 확신하고 싶었습니다.

저는 Java로 작업하고 있습니다. 그러나 저는 이것이 언어에 독립적이라고 가정합니다.

+7

2 억 5 천만 건의 레코드에 대해 데이터베이스가 '과부하'상태가 아닌 것 같습니다. 나는 db와 함께 갈 것입니다. – franka

+0

당신은 메모리에서 파일로 데이터를 옮기 자마자 속도가 훨씬 더 낮아질 것입니다. – dasblinkenlight

+1

데이터베이스가 과부하 일 때 일반 파일 시스템에서 처리 할 수 ​​있다고 생각합니까? – kosa

답변

1

Voldemort, CouchDB 또는 Cassandra와 같은 기존 키 - 값 저장소를 사용할 수 없습니까? 기존 프로젝트가 너무 많아서 왜 새로운 프로젝트를 작성합니까?

+0

이것은 대답이 아닌 주석이어야합니다. – David

+0

글쎄, 그것은 일종의 대답입니다. 이미 존재하는 소프트웨어는 그것을 사용하십시오. –