어셈블리, 패키징이 아닌 compile, run, test에 라이브러리를 포함하도록 maven의 종속성 범위를 정의하는 방법은 무엇입니까?

Question

저는 로컬에서 디버깅하고 클러스터에 배포 할 수있는 Apache Spark 응용 프로그램을 빌드하고 있습니다. 이렇게하려면 다음 요구 사항을 충족시키기 위해 spark-core (Java/scala 라이브러리)에 대한 종속성을 정의해야합니다. 컴파일에 더해

제공된 스파크 코어 클러스터에 배포 조립체 (배제 (로컬 디버깅 유닛 테스트)를 실행 및 테스트 포함 (다른 현명한 컴파일 실패)이 감소 항아리 크기별 70M, maven-assembly를 사용하여 해결할 수없는 jar hell 문제가 있으므로 maven-shade 플러그인을 사용 중입니다.

불행히도 maven이 기본적으로 지원하지 않는 사용자 정의 범위 인 것처럼 보입니다. . 일부 플러그인을 사용하여 활성화 할 수있는 방법이 있습니까?

Answer 1

우리는 Maven 빌드에서 정확히 수행합니다. Spark 어셈블리가 작업 어셈블리에 포함되지 않도록 제외하십시오. 플러그인 구성에 maven-shade 제외 규칙을 추가합니다.

<configuration> 
    <shadedArtifactAttached>true</shadedArtifactAttached> 
    <shadedClassifierName>jar-with-dependencies</shadedClassifierName> 
     <artifactSet> 
      <excludes> 
       <exclude>org.apache.spark:spark-assembly</exclude> 
      </excludes> 
     </artifactSet> 
... 
</configuration> 

Answer 2

종속성을 위해 scope 속성 (제공됨)을 사용할 수 있습니다.

이것은 컴파일과 매우 비슷하지만 런타임시 JDK 또는 컨테이너가 종속성을 제공 할 것으로 예상한다는 것을 나타냅니다. 예를 들어, Java Enterprise Edition 용 웹 응용 프로그램을 빌드 할 때 웹 컨테이너가 해당 클래스를 제공하기 때문에 Servlet API 및 관련 Java EE API에 대한 종속성을 제공된 범위로 설정합니다. 이 범위는 컴파일 및 테스트 클래스 경로에서만 사용할 수 있으며 변환하지 않습니다.

참조 : http://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.html#Dependency_Scope

예 :

<dependency> 
    <groupId>group-a</groupId> 
    <artifactId>artifact-b</artifactId> 
    <version>1.0</version> 
    <type>bar</type> 
    <scope>provided</scope> 
</dependency> 

Answer 3

당신은이 개 프로파일을 작성해야합니다. 1은 컴파일 범위에서 스파크 (기본값), 빌드 중에 사용 된 범위 (제공된 범위 사용)를 나타냅니다.

<profiles> 
    <profile> 
     <id>default-without-spark</id> 
     <activation> 
      <activeByDefault>true</activeByDefault> 
     </activation> 
     <dependencies> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-core_2.11</artifactId> 
       <scope>provided</scope> 
      </dependency> 
     </dependencies> 
    </profile> 
    <profile> 
     <id>dev</id> 
     <dependencies> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-core_2.11</artifactId> 
      </dependency> 
     </dependencies> 
    </profile> 
</profiles> 

당신은 @maasg 솔루션의 단점없이 당신이 원하는 것을 얻을 수 있습니다