Spark iterate HDFS 디렉토리

Question

나는 HDFS에 디렉토리의 디렉토리를 가지고 있으며 디렉토리를 반복하고 싶다. SparkContext 객체를 사용하여 Spark에서 쉽게이 작업을 수행 할 수 있습니까?

Answer 1

org.apache.hadoop.fs.FileSystem을 사용할 수 있습니다. 특히,

그리고 스파크와 FileSystem.listFiles([path], true) ...

FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true) 

Answer 2

import org.apache.hadoop.fs.{FileSystem,Path} 

FileSystem.get(sc.hadoopConfiguration).listStatus(new Path("hdfs:///tmp")).foreach(x => println(x.getPath)) 

이 나를 위해 일했다.

스파크 버전 1.5.0 - cdh5.5.2

Answer 3

당신은뿐만 아니라 누군가가 관심이 있다면 여기에

val listStatus = org.apache.hadoop.fs.FileSystem.get(new URI(url), sc.hadoopConfiguration).globStatus(new org.apache.hadoop.fs.Path(url)) 

     for (urlStatus <- listStatus) { 
     println("urlStatus get Path:"+urlStatus.getPath()) 
} 

Answer 4

이 PySpark 버전의 globStatus 상태로 시도 할 수 있습니다

:

hadoop = sc._jvm.org.apache.hadoop 

fs = hadoop.fs.FileSystem 
conf = hadoop.conf.Configuration() 
path = hadoop.fs.Path('/hivewarehouse/disc_mrt.db/unified_fact/') 

for f in fs.get(conf).listStatus(path): 
    print f.getPath() 

이 특히 나는 disk_mrt.unified_fact 하이브 테이블을 구성하는 모든 파일의 목록을 얻습니다.() 파일 크기를 얻기 위해 여기에 설명되어 있습니다 getLen 같은 FileStatus 객체의

다른 방법 :

Class FileStatus