Amazon EMR : java.io.IOException : 파일이 이미 있습니다. s3n : // <bucketname>/output/part-r-00002

Question

MapReduce 작업을 실행하고 있습니다. 내 코드는 간단한 계산을 수행하는 하나의 클래스로만 구성됩니다. 내가 EMR에서 실행하면 그것은 hadoop1.0.3 의 단일 노드 설정에 성공적으로 실행, 나는

java.io.IOException: File already exists: s3n://<bucketname>/output/part-r-00002 
at org.apache.hadoop.fs.s3native.NativeS3FileSystem.create(NativeS3FileSystem.java:647) 
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:557) 
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:538) 
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:445) 
at org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:128) 
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:583) 
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:652) 
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:426) 
at org.apache.hadoop.mapred.Child$4.run(Child.java:255) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:396) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132) 
at org.apache.hadoop.mapred.Child.main(Child.java:249) 

Answer 1

당신은 다른 출력 디렉터리에 때마다 결과를 작성하는 작업을 구성하는 데 필요한 다음과 같은 오류를 얻을 그것 실행됩니다.

이 작업이 두 번 이상 실행 되었기 때문에이 위치에 파일이 이미 있기 때문에 지금 불평 중입니다.