어떻게 찾거나 수정합니까? ArgumentError : UTF-8의 바이트 시퀀스가 ​​잘못 되었습니까?

Question

고객이 제공 한 대형 데이터 파일을 읽을 수있는 앱이 있습니다. 내가 정규식 패턴을 볼 경우 String.match을 사용하고

ArgumentError: invalid byte sequence in UTF-8 

: 내가 오늘받은 하나 개의 파일에, 그것은과 실패, 몇 가지와 함께 완벽하게 작동하지만.

파일을 보면 아무 것도 작동하지 않는 것 같습니다.

조언?

편집 : 사용자 이름에 'xE9'문자가있는 것처럼 보입니다.

Answer 1

@muistooshort의 도움 덕분에 파일을 ISO 모드로 연 다음 줄 단위로 읽고 UTF-8로 변환합니다.

myfile = File.open('thefile.txt', 'r:iso8859-1') 
    while rawline = myfile.gets 
    line = rawline.force_encoding('utf-8') 
    # proceed... 
end 

Answer 2

솔루션을 보여 약간의 레이크 작업 :

task :reencode, [:filename] => [:environment] do |t, args| 
    myfile = File.open(args[:filename], 'r:iso8859-1') 
    outfile = File.open(args[:filename] + ".out", "w+") 
    while rawline = myfile.gets 
    line = rawline.force_encoding('utf-8') 
    outfile.write line 
    end 
    outfile.close 
end