텍스트 파일에서 알 수없는 문자 제거

Question

파이썬 스크립트를 사용하여 처리하려는 데이터가 많은 파일이 있습니다.

파일은 알 수없는 인코딩이며 메모장 ++에서 열면 'null'문자로드로 구분 된 숫자 데이터가 포함됩니다 (메모장 ++에서는 검은 색 바탕에 흰색으로 NULL로 표시됨).

이 처리하기 위해, 나는 널 문자 \의 x00에서하여 파일을 분리하고 다음 스크립트를 사용하는 경우에만 숫자 값을 검색 :로 (

stripped_data=[] 
for root,dirs,files in os.walk(PATH): 
    for rawfile in files: 
     (dirName, fileName)= os.path.split(rawfile) 
     (fileBaseName, fileExtension)=os.path.splitext(fileName) 
     h=open(os.path.join(root, rawfile),'r') 
     line=h.read() 
     for raw_value in line.split('\x00'): 
      try: 
       test=float(raw_value) 
       stripped_data.append(raw_value.strip()) 
      except ValueError: 
       pass 

그러나, 때때로 파일에있는 다른 인식 할 수없는 문자가를 내가 처음 발견 한 것만 큼) - 메모장에 'EOT', 'SUB'및 'ETX'로 표시됩니다. 그것들은 파이썬에서 파일의 처리를 방해하는 것처럼 보입니다. 메모장에 분명히 더 많은 데이터가 있음에도 불구하고 파일은 그 문자로 끝난 것처럼 보입니다.

처리하기 전에 이러한 파일에서 비 ASCII 문자를 모두 제거하려면 어떻게합니까?

Answer 1

텍스트 모드에서 파일을 여는 중입니다. 즉, 첫 번째 Ctrl-Z 문자는 파일 끝 문자로 간주됩니다. open()에서 'r'대신 'rb'를 지정하십시오.

Answer 2

이 확실히 작동하는지 모르겠어요,하지만 당신은 codec 모듈의 입출력 방법을 사용하여 시도 할 수 :

import codec 

inFile = codec.open(<SAME ARGS AS 'OPEN'>, 'utf-8') 
for line in inFile.readline(): 
    do_stuff() 

당신은 그냥 보통의 파일 객체처럼 inFile을 처리 할 수 ​​있습니다.

아마도 도움이 될 수도 있지만 도움이 될 수도 있습니다.

기본적으로

바꿀 것 [편집] : h=open(os.path.join(root, rawfile),'r')

Answer 3

h=open(os.path.join(root, rawfile),'r', 'utf-8')과의 file.read() 함수가 EOF 때까지 읽습니다. EOF를 치를 때조차도 파일을 계속 읽으려는 것이 너무 일찍 중지되었다고 말했습니다. 전체 파일을 읽었을 때 반드시 멈추십시오. EOF를 때 파일 크기 (읽기 전에 파일 크기를 읽었을 때)를 멈출 때 file.tell()을 통해 파일의 위치를 ​​확인하여이를 수행 할 수 있습니다.

다소 복잡하기 때문에 file.next을 사용하고 바이트를 반복 할 수 있습니다.

ASCII 문자가 아닌 문자를 제거하려면 특정 문자에 흰색 목록을 사용하거나 정의 된 범위와 비교하여 Byte 읽기를 검사 할 수 있습니다. 예. x30과 x39 사이의 바이트 (숫자) -> 그것을 보관/어딘가에 저장/문자열에 추가. ASCII table을 참조하십시오.