Spark sql DataFrame 클래스가 존재하지 않습니다.

Question

내 Java spark 응용 프로그램에서 DataFrame을 사용하기 위해 maven 종속성을 추가했습니다.

<dependency> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-sql_2.10</artifactId> 
<version>1.2.0</version> 
</dependency> 

을하지만 난 내 코드에 org.apache.spark.sql.DataFrame를 가져올 때, DataFrame 클래스를 알 수 없습니다 : 내가 아는 한 종속성은 다음과 같은 형식에 따라 pom.xml 파일에 명시해야한다! 왜 이런 일이 일어 났는지 아세요?

Answer 1

귀하의 버전이 잘못되었다고 생각합니다. 다음과 같이 pom.xml 파일

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.6.2</version> 
     <scope>provided</scope> 
    </dependency> 
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 --> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.10</artifactId> 
     <version>1.6.2</version> 
     <scope>provided</scope> 
    </dependency> 

수입에이 코드를 추가합니다.

import org.apache.spark.sql.DataFrame; 

Answer 2

스파크는 스파크 1.3 릴리스에서 Dataframes을 소개했다.

귀하의 불꽃 버전 dataframe API 사용 스파크 버전에 액세스하려면 1.2.0입니다>은 usind있는 경우 = 1.3.0

Datasets도 사용 스파크 버전> = 1.6.0,

스파크 1.6, 도입 데이터 세트의 API