이진 파일에서 UTF-8 문자열 읽기

Question

여러 종류의 이진 데이터가 들어있는 파일이 있는데이 파일을 처리 할 모듈을 작성하고 있습니다. 2 바이트 빅 엔디안하고 문자열 (I는 struct.unpack()를 파싱하여) stringLength :

다른 사이에, 다음과 같은 형식 UTF-8 인코딩 된 스트링을 포함한다. UTF-8이기 때문에 문자열의 바이트 길이가 stringLength 이상일 수 있으며 문자열에 멀티 바이트 문자가 포함되어 있으면 read (stringLength)가 짧아집니다. (다른 모든 데이터를 파일).

은 어떻게 UTF-8의 멀티 바이트의 특성을 인식하고, 파일에서 N UTF-8 문자 (N 바이트 구별)를 읽을 수 있습니까? 나는 30 분 동안 인터넷 검색을했는데 내가 찾은 모든 결과는 관련이 없거나 내가 할 수없는 가정을합니다.

Answer 1

는 파일 객체를 감안할 때, 문자의 수는, 당신은 사용할 수 있습니다 테스트의

# build a table mapping lead byte to expected follow-byte count 
# bytes 00-BF have 0 follow bytes, F5-FF is not legal UTF8 
# C0-DF: 1, E0-EF: 2 and F0-F4: 3 follow bytes. 
# leave F5-FF set to 0 to minimize reading broken data. 
_lead_byte_to_count = [] 
for i in range(256): 
    _lead_byte_to_count.append(
     1 + (i >= 0xe0) + (i >= 0xf0) if 0xbf < i < 0xf5 else 0) 

def readUTF8(f, count): 
    """Read `count` UTF-8 bytes from file `f`, return as unicode""" 
    # Assumes UTF-8 data is valid; leaves it up to the `.decode()` call to validate 
    res = [] 
    while count: 
     count -= 1 
     lead = f.read(1) 
     res.append(lead) 
     readcount = _lead_byte_to_count[ord(lead)] 
     if readcount: 
      res.append(f.read(readcount)) 
    return (''.join(res)).decode('utf8') 

결과 :

>>> test = StringIO(u'This is a test containing Unicode data: \ua000'.encode('utf8')) 
>>> readUTF8(test, 41) 
u'This is a test containing Unicode data: \ua000' 

Answer 2

UTF-8의 한 문자는 1byte, 2bytes, 3byte3 일 수 있습니다.

바이트 단위로 파일을 읽어야하는 경우 UTF-8 인코딩 규칙을 따라야합니다. http://en.wikipedia.org/wiki/UTF-8

대부분의 경우 인코딩을 utf-8로 설정하고 입력 스트림을 읽을 수 있습니다.

읽은 바이트 수를 신경 쓸 필요가 없습니다.