파일을 이동/복사하십시오. spark hadoop

Question

많은 파일이 들어있는 입력 폴더가 있습니다. 나는 그들을 복사/새로운 경로로 이동 같은 일괄 작업을하고 싶습니다.

나는 Spark를 사용하여 이것을하고 싶다.

이 작업을 수행하는 방법에 대해 도움을 주거나 제안하십시오.

Answer 1

로컬 디렉토리 인 경우 val myfile = sc.textFile("file://file-path")을 사용하여 읽을 수 있으며 myfile.saveAsTexFile("new-location")을 사용하여 저장하십시오.

모든 스파크는 모든 파일을 읽고 동시에 새로운 위치에 저장하고 파일을 배치하여 새 위치 (HDFS/로컬)에 저장하는 작업입니다.

는 각 작업자 노드의 로컬 파일 '경로를 가져야 상단 경우 귀하의 불꽃 클러스터

Answer 2

의 각 작업자 노드에서 사용할 수있는 동일한 디렉토리가 있는지 확인합니다.

당신이 제거하고 싶다면 hadoop 파일 시스템 (hdfs)과 같은 분산 파일 시스템을 사용할 수 있습니다.

hdfs://nodename-or-ip:port/path-to-directory