CSV 파일을 읽고 UTF-8 문자를 기준으로 열의 유효성을 검사하십시오

Question

열 (PersonName, age, address)을 포함하는 CSV 파일을 읽어야하고 PersonName의 유효성을 검사해야합니다. "PersonName은 UTF-8 문자 만 포함 할 수 있습니다."

저는 python3.x를 사용하고 있기 때문에 파일을 연 후에 디코딩 방법을 사용할 수 없습니다.

UTF-8 문자를 포함하지 않는 PersonName을 무시할 수 있도록 파일을 열고 읽는 방법을 알려주십시오. 유효성 검사를 위해 다음 줄로 이동할 수 있습니다.

Answer 1

파일의 나머지 부분을 검사 할 필요가 없거나 ASCII 데이터를 포함하는 UTF-8 합법이라고 가정하면 encoding='utf-8' 및 errors='replace'의 파일 open을 사용할 수 있습니다. 유니 코드 대체 문자 으로 잘못된 바이트 (UTF-8 인코딩)가 변경됩니다. 또는 데이터를 보존하기 위해 errors 핸들러로 'surrogateescape'을 사용할 수 있습니다.이 핸들러는 개인용 유니 코드 코드를 사용하여 나중에 실행 취소 할 수있는 원래 값을 나타냅니다. 당신은 다음과 같은 사람들을 위해 확인하실 수 있습니다 이동합니다

with open(csvname, encoding='utf-8', errors='replace', newline='') as f: 
    for PersonName, age, address in csv.reader(f): 
     if '\ufffd' in PersonName: 
      continue 
     ... PersonName was decoded without errors, so process the row ... 

또는 surrogateescape, 당신은 비 UTF-8 데이터 (즉, 만약 "가능") 다른 분야에서 쓰기에 복원됩니다 보장 할 수 있습니다 :

with open(incsvname, encoding='utf-8', errors='surrogateescape', newline='') as inf,\ 
    open(outcsvname, 'w', encoding='utf-8', errors='surrogateescape', newline='') as outf: 
    csvout = csv.writer(outf) 
    for PersonName, age, address in csv.reader(f): 
     try: 
      # Check for surrogate escapes, and reject PersonNames containing them 
      # Most efficient way to do so is a test encode; surrogates will fail 
      # to encode with default error handler 
      PersonName.encode('utf-8') 
     except UnicodeEncodeError: 
      continue # Had non-UTF-8, skip this row 

     ... PersonName was decoded without surrogate escapes, so process the row ... 

     # You can recover the original file bytes in your code for a field with: 
     #  fieldname.encode('utf-8', errors='surrogateescape') 
     # Or if you're just passing data to a new file, write the same strings 
     # back to a file opened with the same encoding/errors handling; the surrogates 
     # will be restored to their original values: 
     csvout.writerow([PersonName, age, address])