유니 코드가 유효하지 않은 경우 유니 코드 문자열 및 이스케이프 유효성 확인 (C/C++)

Question

파일 시스템에서 임의의 데이터를 읽고 유니 코드로 결과를 출력하는 프로그램이 있습니다. 내가 가지고있는 문제는 때때로 파일 이름이 유효한 유니 코드이고 때로는 그렇지 않다는 것입니다. 그래서 (C 또는 C++에서) 문자열을 검사하고 유효한 UTF-8 인코딩인지 말해 줄 수있는 함수가 필요합니다. 그렇지 않은 경우 유효하지 않은 문자를 이스케이프 처리하여 올바른 UTF-8 인코딩이되게하고 싶습니다. 이것은 XML에서 탈출하는 것과는 다릅니다 --- 나는 또한 그렇게해야합니다. 하지만 먼저 유니 코드가 올바른지 확인해야합니다.

나는 이것을 해킹 할 수있는 코드를 보았지만, 존재하는 경우 작업 코드를 사용하려고합니다. 당신이 (Windows의 MultiByteToWideChar 또는 WideCharToMultiByte 등) 문자 인코딩 변환 기능이있는 경우

Answer 1

다음 코드는 잠시 동안 작업 한 IRI 라이브러리를 기반으로합니다.의 섹션 3.2 ("URI를 IRI로 변환")는 유효하지 않은 UTF-8 옥텟을 유효한 UTF-8로 변환하는 것을 다룹니다.

#define IS_IN_RANGE(c, f, l) (((c) >= (f)) && ((c) <= (l))) 

int UTF8BufferToUTF32Buffer(char *Data, int DataLen, unsigned long *Buffer, int BufLen, int *Eaten) 
{ 
    if(Eaten) 
    { 
     *Eaten = 0; 
    } 

    int Result = 0; 

    unsigned char b, b2; 
    unsigned char *ptr = (unsigned char*) Data; 
    unsigned long uc; 

    int i = 0; 
    int seqlen; 

    while(i < DataLen) 
    { 
     if((Buffer) && (!BufLen)) 
      break; 

     b = ptr[i]; 

     if((b & 0x80) == 0) 
     { 
      uc = (unsigned long)(b & 0x7F); 
      seqlen = 1; 
     } 
     else if((b & 0xE0) == 0xC0) 
     { 
      uc = (unsigned long)(b & 0x1F); 
      seqlen = 2; 
     } 
     else if((b & 0xF0) == 0xE0) 
     { 
      uc = (unsigned long)(b & 0x0F); 
      seqlen = 3; 
     } 
     else if((b & 0xF8) == 0xF0) 
     { 
      uc = (unsigned long)(b & 0x07); 
      seqlen = 4; 
     } 
     else 
     { 
      uc = 0; 
      return -1; 
     } 

     if((i+seqlen) > DataLen) 
     { 
      return -1; 
     } 

     for(int j = 1; j < seqlen; ++j) 
     { 
      b = ptr[i+j]; 

      if((b & 0xC0) != 0x80) 
      { 
       return -1; 
      } 
     } 

     switch(seqlen) 
     { 
      case 2: 
      { 
       b = ptr[i]; 

       if(!IS_IN_RANGE(b, 0xC2, 0xDF)) 
       { 
        return -1; 
       } 

       break; 
      } 

      case 3: 
      { 
       b = ptr[i]; 
       b2 = ptr[i+1]; 

       if(((b == 0xE0) && !IS_IN_RANGE(b2, 0xA0, 0xBF)) || 
        ((b == 0xED) && !IS_IN_RANGE(b2, 0x80, 0x9F)) || 
        (!IS_IN_RANGE(b, 0xE1, 0xEC) && !IS_IN_RANGE(b, 0xEE, 0xEF))) 
       { 
        return -1; 
       } 

       break; 
      } 

      case 4: 
      { 
       b = ptr[i]; 
       b2 = ptr[i+1]; 

       if(((b == 0xF0) && !IS_IN_RANGE(b2, 0x90, 0xBF)) || 
        ((b == 0xF4) && !IS_IN_RANGE(b2, 0x80, 0x8F)) || 
        !IS_IN_RANGE(b, 0xF1, 0xF3)) 
       { 
        return -1; 
       } 

       break; 
      } 
     } 

     for(int j = 1; j < seqlen; ++j) 
     { 
      uc = ((uc << 6) | (unsigned long)(ptr[i+j] & 0x3F)); 
     } 

     if(Buffer) 
     { 
      *Buffer++ = uc; 
      --BufLen; 
     } 

     ++Result; 
     i += seqlen; 
    } 

    if(Eaten) 
    { 
     *Eaten = i; 
    } 

    return Result; 
} 

{ 
    std::string filename = "..."; 

    unsigned long ch; 
    int eaten; 

    std::string::size_type i = 0; 
    while(i < filename.length()) 
    { 
     if(UTF8BufferToUTF32Buffer(&filename[i], filename.length()-i, &ch, 1, &eaten) == 1) 
     { 
      i += eaten; 
     } 
     else 
     { 
      // replace the character at filename[i] with your chosen 
      // escaping, and then increment i by the number of 
      // characters used... 
     } 
    } 
} 

당신이해야 할 일은 어떤 종류의 이스케이프를 사용할지 결정하는 것입니다. URI/IRI는 백분율 인코딩 ("NN"은 한 옥텟의 2 자리 16 진수 값)을 사용합니다 ("% NN").

Answer 2

, 당신은 UTF-32분의 16와 다시에 UTF-8에서 문자열 변환 시도 할 수 있습니다. 원래 문자열이 UTF-8 인 경우 동일한 문자열이 반환됩니다. 그렇지 않으면 오류가 발생하거나 유효성 검사가 필요한 경우 유용하거나 유효하지 않은 UTF-8 바이트로 대체됩니다 (궁극적으로 원하는 것임).