UTF-8 디코딩 라이브러리

Question

Windows의 유니 코드 UTF-8 인 MSVC 10에서 코딩해야합니다. UTF-8로 인코딩 된 문자열은 문자 당 1 또는 2 바이트를 사용한다는 것을 알고 있습니다. 그래서, 내 질문은 : std :: string 적합한이 있습니까? 그렇다면 문자열을 어떻게 해독합니까? 늘어나는만큼 내가 이해 표준 : : 문자열은 단지 바이트의 배열이며 어떤 디코딩 로직을 제공하지 않습니다. 문자열의 논리적 길이를 어떻게 알 수 있습니까? 문자열에서 논리적 문자를 추출하려면 어떻게해야합니까? 문자열에서 논리 문자를 추출하는 데 도움이되는 라이브러리가 있습니까?

예 : 나는 문자열 "올레"표준에 : : 문자열이있는 경우, 나는 길이가 3 인 것을 알 필요가 있지만 4

Answer 1

commonally 사용되는 라이브러리는 ICU - International Components for Unicode

Answer 2

먼저에() 함수 mbstowcs 함수를 호출 할 수 있습니다 UTF-8 문자를 와이드 문자로 변환합니다. 그런 다음 8 비트 결과를 얻으려면 "유니 코드"문자 (ISO-8859-1 평면 이외의 문자, 라틴어 1 문자)가있는 경우 데이터가 손실됩니다.

"Windows"인코딩은 ISO-8859-1과 1 대 1이 아니지만 대부분의 경우 ISO-8859-1은 요즘 사용되는 인코딩입니다.

참조 :) (당신은 단지 문자의 길이를 원하는 경우 mblen은을 사용 http://www.cplusplus.com/reference/clibrary/cstdlib/mbstowcs/

좋아요 기능 :

이

len = mblen(str.c_str(), str.length()); 

추가 참고 : 구현 mblen은 할 수있는 쉬운 방법은() 계산하는 것입니다 그것들은 멀티 바이트 시퀀스의 일부이기 때문에 0x80과 0xBF 사이에없는 바이트 수. 비정상적인 직렬 연결을 통해 UTF-8 바이트 시퀀스를 수신하는 경우 특히 유용합니다.

Answer 3

예, std::string이 appropriare입니다하지만 당신은 눈치 챘으로 만 바이트, 유니 코드 코드 포인트에서 작동합니다. 이 경우 std::string은 불투명 한 유형입니다. 이것은 반드시 나쁜 것은 아닙니다 (사실, 몇 가지 장점이 있습니다, 아래 링크를 참고하십시오). 문자에 대한 정보가 필요하면 문자열을 디코드해야합니다.

실제로 UTF-8을 처리하려면 (필요한 경우) Boost.NoWide 라이브러리를 사용하여 UTF-8을 디코딩 할 수 있습니다.

또한 UTF-8 대 다른 유니 코드 변환에 대한 정보는 UTF-8 everywhere manifesto을 읽어 보시기 바랍니다.