Amazon EMR에서 입출력을 위해 S3 사용

Question

Amazon EMR (0.20.205 MapR)에서 S3 버킷을 입출력에 사용하려면 어떻게해야합니까?

내가 (부트 스트랩 행동을 통해)이 핵심 구성 XML 파일에 다음을 추가하는 시도

:

<property> 
     <name>fs.default.name</name> 
     <value>s3n://</value> 
</property> 

<property> 
     <name>dfs.name.default</name> 
     <value>s3n://</value> 
</property> 

하지만 난 항상 같은 것을 얻을 : 때 java.io.IOException :에 의한

를 : 경로를 확인할 수 없습니다. s3n : // some_out_bucket/out ( ) com.mapr.fs.MapRFileSystem.lookupClient (MapRFileSystem.java:219) at com.mapr.fs.MapRFileSystem.delete (MapRFileSystem.java:385) at cc.mrlda.Par seCorpus.run (ParseCorpus.java:192) at org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:65) 에 cc.mrlda.ParseCorpus.main (ParseCorpus.java:675) ... 10 more

하둡 신참 여기에 있습니다. 도와주세요! 상기 문제에 기재된 구성 단계에 추가

Answer 1

는 I 코드 변경했습니다 :

FileSystem fs = FileSystem.get(URI.create(outputPath), new JobConf(SomeClass.class)); 어디 예컨대 S3에서 리소스 outputPath 점 s3n://some_bucket

URI.create을 사용하여 이제 S3에서 직접 파일에 액세스 할 수 있습니다.