4
나는 스웨덴어 텍스트 색인에 Zend Lucene을 사용합니다. 문제는 lucene이 스웨덴 문자 åäö에서 단어를 토큰 화합니다. 예를 들어 단어 "världens"는 색인에서 두 단어 "v"와 "ldens"가됩니다.Zend Lucene - 토큰 화 스웨덴어
lucene이 허용해야하는 문자를 추가하고 토큰 화하지 않는 방법이 있습니까?
A
답변
5
토큰 화에 default text analyzer 대신 UTF-8 compatible text analyzer을 사용하십시오. PHP의 PCRE (Perl 호환 정규 표현식) 라이브러리는 UTF-8을 지원하도록 컴파일해야합니다 (PHP에 번들 된 PCRE 라이브러리를 사용하는 경우 기본값이지만 공유 라이브러리를 사용하는 경우 활성화되지 않을 수도 있음). UTF-8 호환 분석기의 대소 문자를 구분하지 않는 버전의 경우 mbstring 확장을 활성화해야합니다.
2
분석기 사용하기. text analysis, using utf8 및 docs 약 writing your own analyser에 대한 문서를 참조하십시오. UTF-8 분석기를 사용하는 것이 좋습니다.
관련 문제
- 1. 토큰 화 복잡한 입력
- 2. 토큰 화 문자열
- 3. 문자열 토큰 화 도구가
- 4. PHP 문자열 토큰 화
- 5. 토큰 화 문자열
- 6. KornShell에서 문자열의 토큰 화
- 7. 파일의 문자열 토큰 화
- 8. 개미 토큰 화 : 토큰 개인을 선택
- 9. Cakephp에서 Zend Lucene 사용하기
- 10. Zend Lucene 필드 관련성
- 11. Zend Lucene 검색 관련성
- 12. Zend lucene 콘텐츠 필드
- 13. 인덱싱하지 않고 lucene 토큰 쿼리
- 14. C 문자열 토큰 화 질문
- 15. kohana를 사용하여 zend lucene 검색
- 16. Zend Lucene 용 거미가 있습니까?
- 17. lucene/solr에 대한 관계형 데이터 비정규 화
- 18. Lucene : 문자열을 토큰 화하여 쿼리를 작성하고 패스
- 19. 토큰 화 오류 : java.util.regex.PatternSyntaxException, 메타 문자를 매달려 '*'
- 20. 파이썬 - 어휘 분석 및 토큰 화
- 21. 토큰 화 중에 나누기/RegExp 충돌
- 22. 문장 분석 및 토큰 화 알고리즘
- 23. C++ 3D .obj 파일의 토큰 화
- 24. Objective-C에서 HTTP 메시지의 토큰 화 스트림
- 25. PHP 용 문자열 토큰 화 도구
- 26. 토큰 화 오류를 처리하는 방법은 무엇입니까?
- 27. Bash loop - 단어가 아닌 라인에서 토큰 화
- 28. SQL 명령을 포함하는 문자열 파싱/토큰 화
- 29. Solr에서 다중 토큰 화 도구 사용하기
- 30. 토큰 화 문자열 C++ 컴파일러/논리 오류