Spark 원격 서버에서 파일 읽기

1 개의 노드 스파크 클러스터가 있으며 파일을 읽고 구문 분석하기 위해 WholeTextFile API 또는 Textfile API를 사용합니다.Spark 원격 서버에서 파일 읽기

spark이 원격 서버에서 파일을 읽을 수 있도록 허용 할 수 있습니까? 또는 Spark 노드에 파일이 물리적으로 존재해야합니다.

2017-03-28 AKC

당신은 불꽃 스트리밍 보길 원하는 것와 원격 파일을 읽을 수 있지만 예, 원격 파일 읽기이 가능합니다. –

JavaStreamingContext와 함께 binaryFiles API 또는 WholeTextFile을 사용하면서 이에 대한 예를 들어 주시겠습니까 ?? – AKC

당신은 FTP

import org.apache.spark.SparkFiles 
val filePath = "ftp://user:pwd/myhost/map/myinput.nt" 
sc.addFile(filePath) 
var fileName = SparkFiles.get(filePath.split("/").last) 
var file = sc.textFile(fileName)

출처

2017-03-28 16:52:23 BDR

FTP는 컴퓨터에 불꽃을 발산하도록 파일을 다운로드한다는 의미입니까? 그렇다면 작업을 마친 후 스파크 기계에서 삭제해야합니까? 내 이해가 맞습니까? – AKC

Spark 원격 서버에서 파일 읽기

답변

관련 문제