0
Pig map reduce 작업에서 일부 맵퍼 및 축소기에 대해 간헐적으로이 예외가 표시됩니다. 대부분의 경우 다른 노드에서 재 시도되고 작업이 성공합니다. 그러나 때때로 4 가지 작업 모두가 실패하고지도 축소 작업이 실패합니다.클러스터를 시작한 동일한 사용자가 Pig MR 작업을 수행하지 못했습니다.
그러나 흥미로운 점은 실제로 jobcache에 권한 700이 있다는 것입니다. 그 폴더를 만들 수없는 이유를 이해하지 못합니다.
Error initializing attempt_201212101828_0396_m_000028_0:
java.io.IOException: Failed to set permissions of path: /apollo/env/TrafficAnalyticsHadoop/var/hadoop/mapred/local_data/taskTracker/trafanly/jobcache/job_201212101828_0396 to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:671)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.mapred.JobLocalizer.createJobDirs(JobLocalizer.java:221)
at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:184)
at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201)
at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116)
at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404)
at java.lang.Thread.run(Thread.java:662)
도움이 될 경우 Hadoop 1.0.1을 사용하고 있습니다. 온라인으로 검색하는 동안 찾은 한 가지 더 : https://issues.apache.org/jira/browse/MAPREDUCE-890입니다. 필자의 경우 매핑 된 클러스터를 시작한 사용자가 실제로 작업을 실행하고 실패한 경우입니다. 다른 사용자에게는 작업이 정상적으로 실행됩니다.
어떤 도움을 주시면 감사하겠습니다.