인덱싱 등록 정보 파일

Question

많은 Java 등록 정보 및 매니페스트 파일을 색인화해야합니다.

파일의 데이터는 키 - 값 쌍입니다.

나는 이것을 위해 Lucene을 사용하려고 생각하고 있습니다.

그러나 데이터가 상당히 구조화되어 있으므로 실제 전체 검색 기능이 필요하지 않습니다. 속성 값의 정확한 일치를 검색하기 만하면되며 속성 키는 항상 알려져 있습니다. 토큰화할 필요가 없으며 "기본"필드도 없습니다. 고유 한 등록 정보 키의 수가 꽤 클 수 있습니다.

또한 나는 (RAMDirectory가 될 Lucene에서) 인덱스를 전체적으로 메모리에 유지할 수 있기를 바랍니다.

그래서 Lucene (주로 전체 텍스트 검색 엔진)은 여전히 ​​좋은 성냥입니까? 그렇지 않으면 더 잘 맞는 것이 있습니까?

업데이트 : 그것은 트리플을 유지하기 위해 적어도 중첩의 HashMap (값, 키가 될 필요가 값 B. 재산 A를 정의하는 파일을 찾으려하기 때문에 간단한의 HashMap는하지 않을 것이다 , 파일 이름).

Answer 1

예, 키당 토큰 화되지 않은 필드가있는 Lucene 색인이 트릭을 수행합니다. 그것은 약간의 잔인한 부분이기도합니다. 어떤 종류의지도 구조가 아마도 당신이 묘사하는 것에 충분할 것입니다.

여기서 Lucene을 사용하면 얻을 수있는 주요 이점은 세부 정보를 상당히 간단한 API로 추상화한다는 것입니다.

Answer 2

나는 간단한 HashMap으로 시작하고, 메모리 문제가 생기면 Lucene과 같은 좀 더 복잡한 것으로 옮겨 간다. HashMap이 얼마나 효율적인지 놀랄 것입니다.

정말 간단하게 시작하려면 Properties 개체 자체를 사용하십시오.이 개체는 HashTable의 인스턴스입니다 (HashMap vs HashTable 참조). load(Inputstream)을 사용하여 여러 속성 파일을 간단한 개체로 쉽게로드 한 다음 HashMap을 시도한 경우 new HashMap(propertiesObject)을 사용하여 전환 할 수 있습니다.

Answer 3

전체 텍스트 검색이 필요하지 않고 큰 키 - 값 맵만 표시하려는 경우 Lucene이 부적절하다고 제안합니다.

저는 EhCache와 같은 것을 제안합니다. 이것은 당신이 RAM에있는 많은 양의 데이터를 저장할 수있게 해주지 만 너무 커지면 디스크 파일로 스왑 아웃 할 수 있습니다.

Answer 4

을보세요. 경량의 오픈 소스 오브젝트 데이터베이스로, 빠른 B + Tree 구현이 가능합니다. 높은 신뢰성이 필요하지 않은 경우 데이터베이스의 로그 부분을 해제 할 수 있습니다 (쓰기 도중에 정전이 발생하면 데이터베이스가 손상 될 위험이 있으므로 훨씬 빨리 삽입 할 수 있습니다).

우리는 4,5 년간 여러 프로덕션 프로젝트에서 jdbm을 사용하여 정말 큰 데이터 세트를 사용했습니다.

전체 색인을 메모리에 저장할 수 있으면 TreeMap (또는 역 색인 생성이 필요한 경우 여러 TreeMaps)을 사용하는 것이 더 나을 것입니다. 저장해야하는 경우 직렬화하면됩니다. 디스크.