이제는 Spark을 시작 했으므로 here에서 for Hadoop 1 (HDP1, CDH3) 바이너리를 다운로드하고 우분투 VM에서 추출했습니다. 스칼라를 설치하지 않고 Spark 대화 형 셸에서 Quick Start 가이드의 예제를 실행할 수있었습니다.스칼라에 대한 스칼라 종속성/설치
부수적으로, 나는 스파크가 오픈 소스 프로젝트를 둘러싼 최고의 문서 중 하나임을 관찰했다.
Praveen -
fat-master jar가 확인되었습니다.
/SPARK_HOME/assembly/target/scala-2.9.3/spark-assembly_2.9.3-0.8.0-incubating-hadoop1.0.4.jar
이 단지 모든 스칼라 바이너리 + 스파크 바이너리 포함. 여기 스파크 쉘
검사를 실행할 때이 파일이 CLASSPAH에 추가되기 때문에
당신이 실행할 수 있습니다 실행 스파크 쉘>에 http : // 기계 : 4040> 환경> 클래스 경로 항목
사전 빌드 스파크를 다운로드 한 경우 노드에 스칼라가 없어도 노드의 CLASSAPATH에있는이 파일 만 있으면 충분합니다.
참고 : 내가 게시 한 마지막 답변이 삭제되어 일부 사용자를 오도 할 수 있습니다. 죄송합니다 :)
Spark는 Scala에 포함되어 있습니까? 그렇다면 라이브러리/바이너리는 어디에 있습니까?
프로젝트 구성은 project/ 폴더에 있습니다. 내 경우는 여기있다 :
$ ls project/
build.properties plugins.sbt project SparkBuild.scala target
당신이 sbt/sbt assembly을 수행 할 때, 그것은 다른 프로젝트 종속성과 함께 스칼라의 적절한 버전을 다운로드합니다. 예를 들어 폴더 target/를 체크 아웃 : 스칼라 버전은 나를 위해 2.9.2입니다
$ ls target/
scala-2.9.2 streams
하는 것으로.
다른 모드 (배포판)로 Spark를 실행하려면 모든 노드에 스칼라를 설치해야합니까?
예. 코드가 다른 프로젝트에, 당신은 그들이 또한 슬레이브 노드에 존재 확인해야합니다 의존하는 경우 Spark documentation
에 설명 된대로 하나의 조립 단지를 만들 수 있습니다. 가장 많이 사용되는 방법은 코드와 그 종속성을 포함하는 어셈블리 jar (또는 "uber"jar)를 만드는 것입니다. sbt와 Maven 모두 어셈블리 플러그인을 가지고 있습니다. 어셈블리 jar를 만들 때 Spark 자체를 제공된 종속성으로 나열하십시오. 이미 슬레이브에 있기 때문에 번들로 묶을 필요가 없습니다. 어셈블 된 jar가 있으면 여기에 표시된대로 SparkContext에 추가합니다.SparkContext를 생성 할 때, 의존하는 jar를 1 개씩 제출하는 것도 가능합니다.
모든 노드에서 스칼라를 사용할 수 있어야합니다. 그러나 make-distribution.sh을 통한 바이너리 배포에서는 더 이상 모든 노드에 스칼라를 설치할 필요가 없습니다. 설치 REPL을 실행하는 데 필요한 스칼라와 단지 패키징 스칼라를 구분하는 점을 염두에 두십시오. 또 다른 jar 파일로 스칼라를 사용하십시오.
또한 파일에서 언급 한 바와 같이 : 당신이 make-distribution.sh를 사용할 때
# The distribution contains fat (assembly) jars that include the Scala library,
# so it is completely self contained.
# It does not contain source or *.class files.
그래서 스칼라는 실제로 타고 따라 오는 않습니다.
이후 스파크 1.1에서, 당신은 pom.xml 파일의 변경 사항을 확인하고 메이븐
사용하여 구축 할 수 ahve 더 SparkBuild.scala 없다