스파크 - 스파크 세션을 하나만 사용해야합니까?

Question

일부 예제 코드에서 SparkSession 인스턴스는 싱글 톤입니다. SparkSession 인스턴스가 하나만 있어야한다는 의미입니까? 둘 이상의 SparkSession이있는 경우 어떻게됩니까? 그들 (SparkSessions)이 서로 상호 작용할 수 있습니까?

Answer 1

JVM 당 하나의 SparkSession (및 SparkContext) 인스턴스 만있을 수 있습니다. 여러 세션 인스턴스를 만들 수 없습니다.

Answer 2

SparkSession 개체는 Singleton이므로 클라이언트 당 하나만 있습니다.

당신은 쉽게 SparkShell 열어 스스로이를 확인할 수

:

스칼라> spark.toString

res7 : 문자열 = org.apache.spark.sql.SparkSession@d76a6bd

을

import org.apache.spark.sql.SparkSession

scala> : 붙여 넣기 // 입력 : 붙이기 모드 (ctrl-D에서 끝내기)

브로 스파크 = SparkSession의 .builder()
.appName ("SparkSessionZipsExample") .getOrCreate()

// 이제 페이스트 모드를 종료 해석.

17/02/06 07:25:48 WARN SparkSession $ Builder : 기존 SparkSession을 사용합니다. 일부 구성이 적용되지 않을 수 있습니다. 스파크 : org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@d76a6bd

스칼라> // 페이스트 입력 모드를 붙여 (CTRL-D가 완료)

브로 spark = SparkSession .builder()
.appName ("SparkSessionZipsExample") .getOrCreate()

// 붙여 넣기 모드를 종료하고 해석 중입니다.

17/02/06 07:25:40 WARN SparkSession $ Builder : 기존 SparkSession을 사용합니다. 일부 구성이 적용되지 않을 수 있습니다. 스파크 : org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@d76a6bd

당신은 우리가 같은 객체 @의 d76a6bd

를 가져 오는 세 가지 경우에서 볼 수 있듯이