파이썬에서 유니 코드 문자 범위를 감지하는 방법은 무엇입니까?

Question

두 개 이상의 언어로 된 텍스트를 포함하는 텍스트 문서의 코퍼스가 있습니다.

내가 읽는 각 줄에 대해 작성한 언어를 알아야합니다.이 언어는 힌디어 (U + 0900-U + 097F)와 텔루구 어 (U + 0C00- U + 0C7F).

내 프로그램이 다른 스크립트로 줄을 필터링하도록하려면 어떻게합니까? 사용되는 가장 높은 코드 포인트를 골라

Answer 1

사용 max(), 당신의 범위에 대한 일치 :

def detect_language(line): 
    maxchar = max(line) 
    if u'\u0c00' <= maxchar <= u'\u0c7f': 
     return 'telugu' 
    elif u'\u0900' <= maxchar <= u'\u097f': 
     return 'hindi' 
    return 'english' 

데모 :

>>> detect_language(u'Hello world!') 
'english' 
>>> detect_language(u'తెలుు') 
'telugu' 
>>> detect_language(u'हिन्दी') 
'hindi'