스파크 테이블로 등록 된 테이블을 데이터 프레임으로 가져 오는 방법

Question

spark-thriftserver jdbc 연결을 사용하여 PostgreSQL 데이터베이스에서 spark-sql 데이터베이스로 테이블을 가져 왔으며 현재이 테이블을 볼 수 있습니다.

이 테이블을 스파크 데이터 프레임으로 변환 할 수있는 방법이 있습니까?

Answer 1

스파크 2.0.0 http://spark.apache.org/docs/latest/sql-programming-guide.html

SparkSession에 SQL 함수 프로그래밍 SQL 쿼리를 실행하는 응용 프로그램을 가능하게하고 DataFrame로 결과를 반환합니다.

# spark is an existing SparkSession 
df = spark.sql("SELECT * FROM table") 

스파크 1.6.2 http://spark.apache.org/docs/1.6.2/sql-programming-guide.html

는 SqlContext에 SQL 쿼리 프로그래밍

SQL 함수를 실행 프로그래밍 SQL 쿼리를 실행하는 응용 프로그램을 가능하게하고 DataFrame로 결과를 반환합니다.

from pyspark.sql import SQLContext 
sqlContext = SQLContext(sc) 
df = sqlContext.sql("SELECT * FROM table") 

Answer 2

이 점화와 함께 작동> 2.0 : df = spark.table('table')