NLTK 및 언어 감지

Question

NLTK를 사용하여 텍스트가 작성된 언어를 어떻게 검색합니까?

내가 사용한 예제는 nltk.detect이지만 Mac에 설치하면이 패키지를 찾을 수 없습니다.

Answer 1

다음 코드 조각을 보았습니까? http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active

또는 다음 데모 파일에서

english_vocab = set(w.lower() for w in nltk.corpus.words.words()) 
text_vocab = set(w.lower() for w in text if w.lower().isalpha()) 
unusual = text_vocab.difference(english_vocab) 

?

https://github.com/saffsd/langid.py

이 가져 매우 간단하고 많은 수의 포함이이 NLTK에 아니지만

https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

Answer 2

, 나는 또 다른 파이썬 기반 라이브러리 좋은 결과를 있었다 그 모델의 언어.

Answer 3

이 라이브러리는 NLTK이 아니지만 분명 도움이됩니다.

$ sudo를가 langdetect 설치 PIP

지원 파이썬 버전 2.6, 2.7, 3.x를

>>> from langdetect import detect 

>>> detect("War doesn't show who's right, just who's left.") 
'en' 
>>> detect("Ein, zwei, drei, vier") 
'de' 

https://pypi.python.org/pypi/langdetect?

P.S이 올바르게 항상 일을 기대하지 마십시오 .: :

>>> detect("today is a good day") 
'so' 
>>> detect("today is a good day.") 
'so' 
>>> detect("la vita e bella!") 
'it' 
>>> detect("khoobi? khoshi?") 
'so' 
>>> detect("wow") 
'pl' 
>>> detect("what a day") 
'en' 
>>> detect("yay!") 
'so'