spark-shell은 분산 된 데이터 저장소와 상호 작용하는 데 사용될 수 있습니다. 그런 다음 spark-shell에서 코딩하고 패키지 된 sbt 독립형 응용 프로그램을 클러스터에 업로드하는 것의 근본적인 차이점은 무엇입니까? 작업? (나는 차이점이 클러스터 관리 인터페이스에서 볼 수있는 작업을 제출하고 껍질 수 없다는 것을 알았습니다.) 결국, sbt는 매우 골칫거리이며 쉘은 매우 편리합니다. 감사합니다.spark-shell과 제출 된 sbt 프로그램의 차이점
스파크 - 쉘은 개별 명령과 같이 코드를 실행할 수있는 콘솔 형 인터페이스를 제공합니다. 여전히 패키지를 시험하거나 코드를 디버깅하는 경우 매우 유용 할 수 있습니다.
I found a difference is sbt submit the job can be seen in the cluster management interface, and the shell can not
사실, 스파크 쉘은 또한 "스파크 - 쉘"자체 작업 UI에 와서 당신은 당신이를 통해 실행중인 작업을 모니터링 할 수 있습니다.
SBT를 사용하여 스파크 응용 프로그램을 작성하면 개발 프로세스에서 반복적 인 구성을 얻을 수 있으며 일상적인 개발에 도움이되는 반복 편집이 가능하며 많은 수작업을 피할 수 있습니다. 항상 실행하는 일정한 세트가있는 경우 명령과 같은 전체 작업을 실행하는 대신 동일한 패키지를 다시 실행할 수 있습니다. SBT는 자바 스타일이 처음이라면 익숙해 지는데 시간이 좀 걸리지 만 장기적으로는 응용 프로그램을 유지 관리하는 데 도움이 될 수 있습니다.
설명해 주셔서 감사합니다. HDFS에 저장된 큰 데이터 세트에서 간단한 프로그램을 실행하려면 스파크 셸을 사용해야합니까? 아니면 sbt를 사용하여 제출해야합니까? 실적에 차이가 있습니까? – Liaoxiaochen
위의 이유로 프로그램을 SBT 응용 프로그램으로 실행하는 것이 좋습니다. 그러나 그것이 단 한 번의 것일 것이고 당신이 그것을 결코 다시 할 수 없다면, 나는 쉘에서 그것을하는 데있어 잘못된 것을 보지 못합니다. – ar7