Apache-Spark 그래프 프레임의 SBT

다음 SBT 파일이 있습니다. Apache GraphFrame을 사용하여 스칼라 코드를 컴파일하고 CSV 파일을 읽습니다. 내가 SBT를 사용하여 JAR 파일을 만들려고하면 다음 Apache-Spark 그래프 프레임의 SBT

name := "Simple" 

version := "1.0" 

scalaVersion := "2.10.5" 

libraryDependencies ++= Seq(

"org.apache.spark" %% "spark-core" % "1.6.1", 

"graphframes" % "graphframes" % "0.2.0-spark1.6-s_2.10", 

"org.apache.spark" %% "spark-sql" % "1.0.0", 

"com.databricks" % "spark-csv" % "1.0.3" 
)

그것은 나를 메이븐에

[trace] Stack trace suppressed: run last *:update for the full output. 
[error] (*:update) sbt.ResolveException: unresolved dependency: graphframes#graphframes;0.2.0-spark1.6-s_2.10: not found 
[error] Total time:

출처

2016-12-12 Aroon

GraphFrames를 컴파일하는 동안 오류가 발생하지 않는 다음주는, 스칼라

import org.graphframes._ 
import org.apache.spark.sql.DataFrame 
    val nodesList = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/Users/Desktop/GraphFrame/NodesList.csv") 
    val edgesList= sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/Users/Desktop/GraphFrame/EdgesList.csv") 
    val v=nodesList.toDF("id", "name") 
    val e=edgesList.toDF("src", "dst", "dist") 
    val g = GraphFrame(v, e)

에 내 코드입니다 아직 중앙 저장소가 없습니다.

할 수 있습니다 :

다운로드 유물 Spark Packages 페이지 및

이 SBT build.sbt에 Spark Packages repository 추가 로컬 저장소에 설치 :

resolvers += Resolver.url("SparkPackages", url("https://dl.bintray.com/spark-packages/maven/"))

: build.sbt에

코드

출처

2016-12-12 14:09:43

는 잘 작동하지만 지금은 "수입 org.apache.spark.sql.DataFrame" 오류 "해결되지 않은 의존성에 대한 동일한 문제가 있습니다 org.apache.spark 번호 스파크 sql_2.10_2.10; 1.0. 0 : 찾을 수 없습니다 "@T. Gouęda – Aroon

@Aroon 이상한 Spark SQL 버전 - "1.0.0"- Spark Core는 1.6.1입니다. Spark SQL 버전도 1.6.1로 변경하십시오. –

@Aroon은 Scala 버전의 두 배 버전을 "org.apache.spark"%% "spark-sql_2.10"% "1.0.0"으로 변경했다고 제안합니다. ,'. %%를 사용하거나 스칼라 버전을 추가하십시오. 그래서 "org.apache.spark"%% "spark-sql"% "1.6.1", "or"org.apache.spark "%"spark-sql_2.10 "%"1.6.1 "," –

나는 그것을 얻을 수 있었다. project/plugins.sbt에서 sbt-spark-package

를 사용하여 NG, 나는 추가 :

resolvers += "bintray-spark-packages" at "https://dl.bintray.com/spark-packages/maven/" 

addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.5")

다음, build.sbt에 내가 추가 :

spDependencies += "graphframes/graphframes:0.5.0-spark2.1-s_2.11"

그리고 그것은했다.

희망이 있습니다. 코드 위

출처

2017-06-15 09:23:27

Apache-Spark 그래프 프레임의 SBT

답변

관련 문제