HDFS-2556 극복 : 유닛 테스트 디렉토리 및 사용 권한

Question

hadoop에서 JUnit 테스트를 시도하고 있습니다. MiniDFSCluster, MiniMRCluster 및 JUnit을 사용하여 로컬 mini-hadoop 환경에서 실행하는 테스트 사례를 작성했습니다.

WARNING: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-datanode.properties, hadoop-metrics2.properties 
Dec 18, 2012 4:42:29 PM org.apache.hadoop.hdfs.server.datanode.DataNode makeInstance 
WARNING: Invalid directory in dfs.data.dir: Incorrect permission for build/test/data/dfs/data/data1, expected: rwxr-xr-x, while actual: rwxrwxr-x 
Dec 18, 2012 4:42:29 PM org.apache.hadoop.hdfs.server.datanode.DataNode makeInstance 
WARNING: Invalid directory in dfs.data.dir: Incorrect permission for build/test/data/dfs/data/data2, expected: rwxr-xr-x, while actual: rwxrwxr-x 
Dec 18, 2012 4:42:29 PM org.apache.hadoop.hdfs.server.datanode.DataNode makeInstance 
SEVERE: All directories in dfs.data.dir are invalid. 

이 아직 보류 된 HDFS 버그 https://issues.apache.org/jira/browse/HDFS-2556 다음과 같습니다

그러나이 오류를 받고 있어요.

내가 사용중인 hadoop 버전을 변경할 수 없기 때문에 이러한 사용 권한을 허용하기 위해 강제로 사용하는 방법이 있습니까?

시도 : System.setProperty ("dfs.datanode.data.dir.perm", "775"); 하지만 hadoop은 무시합니다.

또한 권한을 수동으로 변경할 수 없으며 미니 클러스터는 모든 실행을 다시 생성합니다.

버전을 변경하거나 버전을 변경하지 않고이를 극복 할 수있는 방법이 있습니까? 감사합니다. .

Answer 1

당신은 여기에 제공된 해결 방법을 사용할 수 있습니다 https://www.mail-archive.com/issues@hbase.apache.org/msg52961.html

UPDATE : (링크가 다운 될 경우) 링크에서 코드 조각

try { 
     Process process = Runtime.getRuntime().exec("/bin/sh -c umask"); 
     BufferedReader br = new BufferedReader(new 
       InputStreamReader(process.getInputStream())); 
     int rc = process.waitFor(); 
     if (rc == 0) { 
      String umask = br.readLine(); 

      int umaskBits = Integer.parseInt(umask, 8); 
      int permBits = 0777 & ~umaskBits; 
      String perms = Integer.toString(permBits, 8); 

      log.info("Setting dfs.datanode.data.dir.perm to " + perms); 
      hBaseTestingUtility.getConfiguration().set("dfs.datanode.data.dir.perm", perms); 
     } else { 
      log.warn("Failed running umask command in a shell, nonzero return value "); 
     } 
    } catch (Exception e) { 
     // ignore errors, we might not be running on POSIX, or "sh" might not be on the path 
     log.warn("Couldn't get umask", e); 
    }