파이썬 유니 코드 문자열에서 악센트를 제거하는 가장 좋은 방법은 무엇입니까?

Question

파이썬에서 유니 코드 문자열을 가지고 있으며 모든 악센트 (발음 구별 기호)를 제거하고 싶습니다.

1. 는
2. 모든 문자를 제거 (문자와 발음 구별 부호에 대한 별도의 문자) 긴 표준화 형식으로 유니 코드 문자열을 변환 :
   나는 웹에서 자바에서이 작업을 수행하는 우아한 방법을 발견 그의 유니 코드 유형은 "분음 부호"입니다.

pyICU와 같은 라이브러리를 설치해야합니까, 아니면 파이썬 표준 라이브러리만으로 가능합니까? 파이썬 3은 어떨까요?

중요 사항 : 악센트 부호가있는 문자를 액센트가없는 문자로 명시 적으로 매핑하는 코드는 피하고 싶습니다.

Answer 1

Unidecode이 정답입니다. 유니 코드 문자열을 ASCII 텍스트에서 가능한 가장 가까운 표현으로 변환합니다.

예 :

accented_string = u'Málaga' 
# accented_string is of type 'unicode' 
import unidecode 
unaccented_string = unidecode.unidecode(accented_string) 
# unaccented_string contains 'Malaga'and is of type 'str' 

Answer 2

난 그냥 웹에서이 대답을 발견

import unicodedata 

def remove_accents(input_str): 
    nfkd_form = unicodedata.normalize('NFKD', input_str) 
    only_ascii = nfkd_form.encode('ASCII', 'ignore') 
    return only_ascii 

그것은 (예를 들어, 프랑스어) 잘 작동하지만 내가 두 번째 단계는 (악센트를 제거) 비를 떨어보다 더 처리 할 수 ​​있다고 생각 일부 언어 (예 : 그리스어)에서는 실패 할 것이기 때문에 -ASCII 문자를 사용하십시오. 가장 좋은 해결책은 분음 부호로 태그 지정된 유니 코드 문자를 명시 적으로 제거하는 것입니다.

편집 : 문자 c가 선행 문자와 결합 할 수있는 경우

import unicodedata 

def remove_accents(input_str): 
    nfkd_form = unicodedata.normalize('NFKD', input_str) 
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)]) 

unicodedata.combining(c)

그것이 분음 부호 인 경우 즉, 주로, true를 돌려줍니다 :이 트릭을 수행합니다.

편집 2는 : remove_accents는 유니 코드 문자열이 아닌 바이트 문자열을 기대하고있다. 당신이 바이트 문자열이있는 경우, 당신은이 같은 유니 코드 문자열로 디코딩해야합니다

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use 
byte_string = b"café" # or simply "café" before python 3. 
unicode_string = byte_string.decode(encoding) 

Answer 3

이 방법에 대해 :

이 너무, 그리스 문자에서 작동

import unicodedata 
def strip_accents(s): 
    return ''.join(c for c in unicodedata.normalize('NFD', s) 
        if unicodedata.category(c) != 'Mn') 

:

>>> strip_accents(u"A \u00c0 \u0394 \u038E") 
u'A A \u0394 \u03a5' 
>>> 

character category "Mn"은 Nonspacing_Mark을 나타내며, 이는 MiniQuark의 대답에서 unicodedata.combining과 유사합니다 (나는 unicodedata.combining을 생각하지 않았지만 아마 더 나은 soluti입니다 더 명확하기 때문에).

이러한 조작은 텍스트의 의미를 크게 변경시킬 수 있습니다. 악센트, 움 오토 등은 "장식"이 아닙니다.

Answer 4

이 (에서 ø 등)뿐만 아니라 악센트, 또한 "스트로크"를 처리합니다

import unicodedata as ud 

def rmdiacritics(char): 
    ''' 
    Return the base character of char, by "removing" any 
    diacritics like accents or curls and strokes and the like. 
    ''' 
    desc = ud.name(unicode(char)) 
    cutoff = desc.find(' WITH ') 
    if cutoff != -1: 
     desc = desc[:cutoff] 
    return ud.lookup(desc) 

이것은 내가 생각할 수있는 가장 우아한 방법 (이다 그리고 그것은이 페이지에 대한 코멘트에서 alexis에 의해 언급되었습니다.) 비록 그것이 실제로 매우 우아하다고는 생각하지 않지만.

유니 코드 이름에 'WITH'가 없기 때문에 뒤집힌 문자와 같이 특수 문자가 여전히 처리됩니다. 그것은 당신이 어쨌든하고 싶은 것에 달려 있습니다. 때로 사전 정렬 순서를 달성하기 위해 악센트 스트립 핑이 필요했습니다. @ MiniQuark의 대답에 대응

Answer 5

:

나는 반 프랑스어 (포함 악센트)이었다 csv 파일에서 읽으려고하고 일부 문자열은 결국 정수와 수레가 될 것이다.

Montréal, über, 12.89, Mère, Françoise, noël, 889

나는 그것이 (내가 파이썬 티켓에 발견하는) 일을 얻을뿐만 아니라, 통합 라인 2 및 3을 포함했다 @ 시험으로,이 닮은 test.txt 파일을 생성 자바 더의 코멘트 :

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8") 
import csv 
import unicodedata 

def remove_accents(input_str): 
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str)) 
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)]) 

with open('test.txt') as f: 
    read = csv.reader(f) 
    for row in read: 
     for element in row: 
      print remove_accents(element) 

결과 :

Montreal 
uber 
12.89 
Mere 
Francoise 
noel 
889 

(참고 : 나는 맥 OS X 10.8.4에 오전 2.7.3 파이썬 사용)

Answer 6

사실 나는 프로젝트 호환 Python 2.6, 2.7 및 3.4에서 작업하며 자유 사용자 항목에서 ID를 만들어야합니다.

당신 덕택에이 기능을 만들었습니다.

import re 
import unicodedata 

def strip_accents(text): 
    """ 
    Strip accents from input String. 

    :param text: The input string. 
    :type text: String. 

    :returns: The processed String. 
    :rtype: String. 
    """ 
    try: 
     text = unicode(text, 'utf-8') 
    except (TypeError, NameError): # unicode is a default on python 3 
     pass 
    text = unicodedata.normalize('NFD', text) 
    text = text.encode('ascii', 'ignore') 
    text = text.decode("utf-8") 
    return str(text) 

def text_to_id(text): 
    """ 
    Convert input text to id. 

    :param text: The input string. 
    :type text: String. 

    :returns: The processed String. 
    :rtype: String. 
    """ 
    text = strip_accents(text.lower()) 
    text = re.sub('[ ]+', '_', text) 
    text = re.sub('[^0-9a-zA-Z_-]', '', text) 
    return text 

결과 :

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889") 
>>> 'montreal_uber_1289_mere_francoise_noel_889' 

Answer 7

일부 언어가 악센트를 지정하는 언어 문자와 악센트 발음 구별 부호와 같은 발음 구별 부호를 조합했다.

나는 당신이 제거 할 diactrics 것을 명시 적으로 지정하는 것이 더 안전하다고 생각 :

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')): 
    accents = set(map(unicodedata.lookup, accents)) 
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents] 
    return unicodedata.normalize('NFC', ''.join(chars)) 

Answer 8

import unicodedata 
s = 'Émission' 
search_string = ''.join((c for c in unicodedata.normalize('NFD', s) if unicodedata.category(c) != 'Mn')) 

파이썬 2.X를 들어 파이썬 3.X

print (search_string) 

를 들어

print search_string 

Answer 9

gensim.utils.deaccent(text)Gensim - topic modelling for humans에서 :

deaccent("Šéf chomutovských komunistů dostal poštou bílý prášek") 'Sef chomutovskych komunistu dostal postou bily prasek'

또 다른 해결책은 unidecode입니다.

하지 전형적 일부 문자에 억양을 제거 한편 UnicodeData와 제안 된 해결책은 (예를 들어, 오히려 'l'에보다 ''로 'ł' 변) 있음.