행을 쓰는 동안 작업이 실패했습니다.

내 스파크 버전은 1.6.2입니다. 내 코드행을 쓰는 동안 작업이 실패했습니다.

val phoneDF = sqlContext.read.format("jdbc").options(
    Map("url" -> "jdbc:db2://127.0.0.1:50000/FERTDD", 
     "driver" -> "com.ibm.db2.jcc.DB2Driver", 
     "user" -> "fwetergfdv", 
     "password" -> "fdgergtt", 
     "dbtable" -> "dsfewrrte")).load() 
    phoneDF.write.parquet("hdfs://hadoop:9000/db2/dfgtt/dsfewrrte.parquet")

이다 그러나 나는 잘못이

org.apache.spark.SparkException: Task failed while writing rows 
Caused by: java.nio.charset.MalformedInputException: Input length = 1 
WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, localhost): org.apache.spark.SparkException: Task failed while writing rows

이다 가지고있다 그러나 일부 표는 도움에 감사하다 why.Any, 나도 몰라 OK입니다.

출처

2016-08-26 Smith

같은 환경 변수를 사용하여 이상적으로 결함 허용 작업과 같은 오류가 확인이 완수해야 인코딩 설정할 수 있습니다 사용하여 파일 인코딩을 확인합니다. 그렇지 않습니까? – abhiieor

아니요, 내 작업이 중단됩니다 – Smith

java.nio.charset.MalformedInputException 주어진 charset에 대해 유효하지 않은 문자가 있으면 throw됩니다.

System.getProperty("file.encoding");

당신은

export SPARK_JAVA_OPTS="-Dfile.encoding=UTF-8"

출처

2016-08-26 06:16:54 abaghel

내 파일 인코딩이 UTF-8입니다. 문제가 없습니다. 제안 사항이 있습니까? – Smith

행을 쓰는 동안 작업이 실패했습니다.

답변

관련 문제