4
Spark에서 spark.io.compression.codec = lzf를 구성하는 방법은 무엇입니까?Spark에서 spark.io.compression.codec = lzf를 설정하는 방법
보통, 내가 사용하는
아래./spark-submit --master 불꽃처럼 우리의 드라이버 클래스를 실행하는 스파크를 제출 : // TESTSERVER : 7077 --class com.spark.test.SparkTest --conf "spark.io.compression.codec = lzf" /tmp/test/target/test.jar.
그래서 spark.io.compression.codec = lzf를 명령에 설정할 수 있습니다. 하지만 드라이버 클래스를 실행하기 위해 spark-submit을 사용하고 싶지 않은 경우. 스파크 작업 서버에서 실행하고 싶습니다. 불꽃 작업 서버에서 구성하는 방법 감사합니다 env 변수에서 설정하려고했습니다. 그러나 그것은 효과가 없습니다. 나는 또한 아래에서 시도했다. 아직 작동하지 않습니다.
sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");
내가 스파크가 제출 사용하지 않는 것을 의미한다. 이제 저는 spark-job-server를 사용합니다. 스파크 작업 서버에는 스파크 제출이 없습니다. – simafengyun
! [이 spark-jobserver] (https://github.com/spark-jobserver/spark-jobserver)를 의미합니까? 원래의 질문에 그 사실을 표시하고 싶었던 것 같지 않니? – huitseeker
죄송합니다. 그에 따라 편집했습니다. 구성 방법을 아십니까? – simafengyun