C#에서 비 ASCII 문자가 디코딩되는 이유는 무엇입니까?

Question

HtmlAgilityPack을 사용하는 몇 개의 사이트에서 메타 설명을 읽습니다.

영어 문자가 아닌 경우 특수 문자가 디코딩되지 않습니다. (예 : 일본 편지).

인코딩 UTF8을 사용하고 있습니다. 다른 것을 사용해야합니까?

byte[] bytes = Encoding.Default.GetBytes(item.Attributes["content"].Value); 
return Encoding.UTF8.GetString(bytes); 

Answer 1

귀하의 의견에 따르면 귀하의 웹 사이트가 UTF-8이 아닌 SHIFT-JIS 인코딩을 사용하고있는 것으로 보입니다. UTF-8 및 SHIFT-JIS에 대해 두 개의 샘플을 추가했습니다.

 using (var client = new WebClient()) 
     { 
      // UTF-8 
      var content = client.DownloadString("http://www3.nhk.or.jp/news/"); 
      var doc = new HtmlDocument(); 
      doc.LoadHtml(content); 
      var metaDescNode = doc.DocumentNode.SelectSingleNode("//meta[@name=\"description\"]"); 
      var bytes = Encoding.Default.GetBytes(metaDescNode.Attributes["content"].Value); 
      var decodedMetaDesc = Encoding.UTF8.GetString(bytes); // This string has decoded characters 

      // Shift_JIS 
      var japaneseEncoding = Encoding.GetEncoding(932); 
      var content2 = client.DownloadString("http://www.toronto-electricians.com/"); 
      var doc2 = new HtmlDocument(); 
      doc2.LoadHtml(content2); 
      var metaDescNode2 = doc2.DocumentNode.SelectSingleNode("//meta[@name=\"description\"]"); 
      var bytes2 = Encoding.Default.GetBytes(metaDescNode2.Attributes["content"].Value); 
      var decodedMetaDesc2 = japaneseEncoding.GetString(bytes2); // This string has decoded characters 
     } 

스크린 샷 # 1 디버거에서. 디버거에서

스크린 샷 # 2.

Answer 2

WebClient.DownloadString는 어려운 오류가 발생하기 쉬운 근본적 간단한 작업을 수행 할 수있게 제한 고수준 방법.

HTTP를 통해 웹 페이지를 가져 오는 것은 간단합니다. URL과 일부 요청 헤더를 제공합니다. 서버는 응답 헤더와 본문의 바이트 스트림으로 응답합니다. 응답 헤더는 일반적으로 텍스트 본문의 문자 인코딩을 나타냅니다. 그렇지 않으면 텍스트 본문 자체가 말할 수 있습니다. HTMLAgilityPack은이를 이해하고 해당 상호 작용에서 HtmlAgilityPack.HtmlDocument를 만들 수있는 HtmlWeb 클래스를 제공합니다.

왜 전혀`Encoding.Default`를 사용하는

var document = new HtmlWeb().Load("http://www3.nhk.or.jp/news/"); 
var keywords = document.DocumentNode 
    .SelectSingleNode("//meta[@name='keywords']") 
    .Attributes["content"]?.Value; 
Console.WriteLine(keywords); 
Console.WriteLine($@" 
    StreamEncoding: {document.StreamEncoding?.EncodingName} 
    DeclaredEncoding: {document.DeclaredEncoding?.EncodingName} 
    Encoding:   {document.Encoding?.EncodingName}"); 

---

NHK,ニュース,NHK NEWS WEB 

    StreamEncoding: Unicode (UTF-8) 
    DeclaredEncoding: 
    Encoding:   Unicode (UTF-8)