Spark-Submit 명령 줄을 통해 UTF-8 인코딩이 적용되지 않습니다.

Question

Spark의 Java API를 사용하여 IDE에서 스파크 작업을 실행하면 원하는 인코딩 형식 (UTF-8)으로 출력됩니다. 그러나 명령 행에서 'spark-submit'메소드를 시작하면 출력물이 인코딩에서 빠져 나온다.

커맨드 라인 인터페이스를 통해 사용될 때 'spark-submit'인코딩을 강제 할 수있는 방법이 있습니까?

Windows 10 OS 및 Eclipse IDE를 사용하고 있습니다.

귀하의 도움은 정말 감사하겠습니다.

감사합니다.

Answer 1

다음과 같이 점화 작업을 실행하십시오. spark-submit --class com.something.class --name "someName" --conf "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8"