SparkLauncher : App args가 인식 할 수없는 옵션으로 처리됩니다.

Question

SparkLauncher를 사용하여 코드에서 스파크 애플리케이션을 제출합니다.

 Map<String, String> env = new HashMap<String, String>(); 
     env.put("SPARK_PRINT_LAUNCH_COMMAND", "1"); 

     System.out.println("Creating SparkLauncher"); 
     SparkLauncher launcher = new SparkLauncher(env); 
     launcher.setSparkHome(sparkHome); 
     launcher.setAppResource(appResource); 
     launcher.setMaster(sparkMaster); 
     launcher.setMainClass(mainClass); 
     launcher.setAppName("TestFromJersey") 
     .setVerbose(true) 
     .setConf("spark.cores.max", "20") 
     .setConf("spark.executor.memory", "30G") 
     .setConf("spark.executor.extraJavaOptions", "-XX:+UseG1GC -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -XX:ConcGCThreads=13 -XX:NewRatio=1 -XX:+PrintTenuringDistribution"); 

     for(File f : new File("/home/user/jars").listFiles()){ 
      launcher.addJar(f.getAbsolutePath()); 
     } 

     try { 
      System.out.println("Launching Spark Job from SparkLauncher"); 
      launcher.addAppArgs("--jobName myJobName", 
        "--time "+System.currentTimeMillis()+"", 
        "--authUser admin", 
        "--savePage true"); 
      launcher.startApplication(new SparkAppHandle.Listener() { 
        @Override public void stateChanged(SparkAppHandle h) { 
         System.out.println("App State:" + h.getState()); 
        } 
        @Override public void infoChanged(SparkAppHandle h) { } 
        }); 
     } catch (IOException e) { 
      // TODO Auto-generated catch block 
      System.out.println("error in launching Spark Application"); 
      e.printStackTrace(); 
     } 

이제는 작업이 전혀 실행되지 않으며 처리 구성 기능이 호출되지 않습니다. 이는 작업 구성 오류로 인한 것입니다.

org.apache.commons.cli.UnrecognizedOptionException: Unrecognized option: -jobName myJobName 

그래서,이 코드가 sparkArguments 별도로 appArgs을 인식 할 수 없다는 것을 나에게 보인다 출력 로그에 나는 다음과 같은 오류를 볼 수 있습니다.

모든 포인터? AppArgs를 추가하기 위해 사용하는 형식입니까? 일부 히트 재판에

Answer 1

확인, 인수를 지정하는 올바른 방법은 다음과 같습니다

launcher.addAppArgs("--jobName","myJobName", 
        "--authUser","admin", 
        "--savePage","true");