2017-05-09 1 views
0

나는 불꽃을 구축하기 위해 다음 명령을 사용하고 스칼라 2.10.6와 불꽃 2.1.0을 사용하려는 때문에 그래서, 아파치 스파크에 발견하고 있어요 Here빌드 스파크 만 코어 파일

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package 

spark core 파일 (주로 SparkContext.scala)에 대한 프로젝트를 약간 변경하려고합니다. 몇 가지 변경을 할 때마다 위의 명령을 사용하여 스파크를 다시 작성해야하는데 상당한 시간이 소요됩니다. 간단한 인쇄물을 추가하는 경우에도 나는 그것을 다시 한번 만들어야합니다. 하고 비록 내가 명령을 사용하여 내 스파크 응용 프로그램을 실행할 때 내 변화가 볼 수 있습니다로 작동하는 것 같다

spark-submit --master local[*] --driver-memory 256g --class main.scala.TestMain target/scala-2.10/spark_proj-assembly-1.0.jar 

이제 링크가 점화 당신이 모듈을 구축 할 수 있습니다 말한다, 그리고 온라인 스파크 코어를 구축하려면 다음 명령을 발견 만 ,

/build/mvn -pl core clean package -DskipTests -Dscala-2.1 

그리고 스파크로 작동하는 것 같다 코어를 컴파일하고 내가 어떤이있는 경우 나에게 오류를 표시,하지만 난 내 응용 프로그램을 실행할 때, 나는 런타임에 변경 사항을 참조, 내가 쇼를 해달라고 한 모든 인쇄하지 않거나 내가 적용하는 모든 작업도 거기에 없습니다. 그것의 내 프로그램처럼 핵심 파일 만 빌드하기 전에 여전히 스파크 버전을 사용하고 있습니다. 전체 스파크를 만드는 것은 효과가있는 것처럼 보입니다.

코어 파일을 제대로 빌드하지 못하는 이유는 무엇인지, 잘못된 명령을 사용하는 이유는 무엇입니까? 그렇다면 코어 파일 만 빌드하는 방법을 정확히 말해 줄 수 있습니다.

답변

1

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package

당신 만 있다면 시간

의 상당한 금액을 소요 위의 명령을 사용하여 불꽃을 다시해야 좀 변경할 때마다 점진적 변경을하면 첫 번째 빌드 이후에 "클린"단계가 생략됩니다. 당신이

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests package 

다음 메이븐은 다시 컴파일하고 다시 패키지 업데이트 된 파일 것입니다하지 않으면 반면이, 메이븐은 전체 코드베이스를 다시 일으키는 포함.

관련 문제