자바의 데이터 정규화를위한 맞춤법 교정

Question

사용자 생성 텍스트 콘텐츠에 대한 초기 맞춤법 검사/데이터 정규화를 수행 할 자바 라이브러리를 찾고 있는데, Facebook 프로필에 입력 한 관심사를 상상해보십시오.

이 텍스트는 맞춤법 보정 전후에 어떤 점에서 토큰 화되며, 그 중 일부는 검색을위한 키로 사용됩니다 (정확한 일치). 맞춤법 오류 등을 줄이면 더 많은 성냥을 만들어 낼 수 있습니다. 정정이 단 한 단어보다 긴 토큰에 대해 잘 수행된다면 더 좋을 것입니다. "트링 킹 커피"는 "커피 마시는 것"이 ​​아니라 "커피를 마시는"것이됩니다.

1. 재즈이 활성화 개발 될 것 같지 않습니다 :
   내가 맞춤법 교정을 수행하기위한 다음과 같은 자바 라이브러리를 발견했다. 또한 사전 거리 기반 접근법은 소셜 네트워크 프로필 및 다중 단어 토큰에서 비표준 언어를 사용하기 때문에 부적절한 것으로 보입니다.
2. APACHE LUCENE은 statistical spell checker인데 훨씬 적합해야합니다. 여기서 좋은 사전을 만드는 방법에 관한 질문이 있습니까? (그렇지 않으면 Lucene을 사용하지 않으므로 기존 색인이 없습니다.)

모든 의견을 환영합니다!

Answer 1

구현하려는 것은 철자 교정자가 아니라 퍼지 검색입니다. Peter Norvig의 에세이는 사전에 대해 조사 된 후보들로부터 퍼지 검색을 구축하기위한 좋은 출발점입니다.

또는 BK-Trees를 살펴보십시오.

n-gram 색인 (Lucene에서 사용)은 더 긴 단어에 대해 더 나은 결과를 생성합니다. 주어진 편집 거리까지 후보자를 만드는 접근법은 보통 텍스트에서 발견되는 단어에 대해서는 충분히 잘 작동하지만 이름, 주소 및 과학 텍스트에는 충분하지 않습니다. 그것은 인덱스 크기를 늘릴 것입니다.

텍스트가 색인 된 경우 텍스트 자료 (사전)가 있습니다. 귀하의 데이터에있는 것만이 어쨌든 발견 될 수 있습니다. 외부 사전을 사용할 필요가 없습니다.

좋은 자료는 Introduction to Information Retrieval - Dictionaries and tolerant retrieval입니다. 상황에 맞는 맞춤법 교정에 대한 간단한 설명이 있습니다.

Answer 2

시도 Peter Norvig's spell checker.

Answer 3

많은 코퍼스가있는 경우 Gutenberg project 또는 Internet Archive을 누르십시오.

또한 Wiktionary이 도움이 될 것으로 생각합니다. direct download도 만들 수 있습니다.

Answer 4

맞춤법 검사기의 기초로 Lucene 색인을 채우는 것과 관련하여 이것은 문제를 해결하는 좋은 방법입니다. Lucene은 상자 밖의 SpellChecker을 사용할 수 있습니다.

net에서 word dictionaries을 다운로드하여 lucene 색인의 기초로 사용할 수 있습니다. 나는 이것들에 도메인 특유의 많은 텍스트를 보충 할 것을 제안한다. 귀하의 사용자가 중독자라면 의학 논문 및 간행물의 원본 텍스트로 사전을 보완 할 수 있습니다.

Answer 5

http://code.google.com/p/google-api-spelling-java은 좋은 Java 맞춤법 검사 라이브러리이지만 토마스 정 (Thomas Jung)은 귀하의 문제에 대한 답변이 아닐 수 있습니다.