스파크 : 스파크 처리를위한 생산 작업을 만드는 방법

spark-sql을 사용하여 작업을 실행하고 생산 명령은 무엇이되어야합니까? 생산 작업 명령으로 spark-sql을 사용할 수 있습니까?스파크 : 스파크 처리를위한 생산 작업을 만드는 방법

감사합니다, Virendra

2016-06-30 gwn D

프로덕션 클러스터가 있습니까? 또는 "프로덕션 시스템"에서 데이터베이스의 데이터를 사용하려고합니까? –

예 프로덕션 클러스터가 있습니다. 주로 쿼리하고 SPARK-SQL을 사용하는 여러 조인으로 쿼리의 performace를 봅니다. 그래서 매일의 bsais 실행을 위해 생산시 동일한 SPARK-SQl을 사용할 수 있습니까? SPAR-SUBMIT을 사용해야합니까? 문제는 SPARK-SUBMIT을 사용하는 것입니다. 스칼라 또는 자바 코드를 작성하고 SPARK-SUBMIT에서 사용할 수있는 JAR을 작성해야합니다. –

생산 당신의 의미 무엇 정확하게 확실하지. 좀 더 자세히 설명해 주시겠습니까?

spark-sql은 대화식으로 데이터를 탐색 할 수 있도록 설계되었습니다. REPL로서 Java 프로세스를 시작합니다.

아마도 maven 프로젝트에 코드를 삽입하는 것이 더 간단합니다. Like this

출처

2016-06-30 09:20:42

감사! 나는 프로그래머가 아니기 때문에 SPARK-SQL이 가지고있는 SQL 타입 기능으로 더 많은 일을하고 싶었지만 프로덕션 클러스터에서 JAR (scala/java 코드 기반)을 가지고 있거나 SPARK-SQL 만 가지고 있어야한다. 직업. –

클러스터에서 코드를 실행하려면 SPARK_HOME/bin/spark-submit을 사용해야합니다. 더 많은 정보는 여기에서 찾을 수 있습니다 : http://spark.apache.org/docs/latest/submitting-applications.html

출처

2016-06-30 09:46:47 Przemek

감사! 그것은 scala 또는 java에 코드를 작성하고 sqlContext를 호출해야 함을 의미합니다. jar 파일을 만들고 SPARK-SUBMIT을 사용하십시오. 어쨌든 SPARK-SQL 만 있으면 작업을 생성하고 스크립트 (sql)를 매개 변수로 호출 할 수 있습니다. –

나는 그렇게 생각하지 않는다. uber jar 파일을 만들고 클러스터에 배포해야합니다. – Przemek

스파크 : 스파크 처리를위한 생산 작업을 만드는 방법

답변

관련 문제