kerberose가있는 Hadoop 파일 시스템

Question

나는 hadoop 파일 시스템을 처음 사용합니다. Google에서 Hadoop FileSystem과 관련된 유용한 링크를 찾지 못했습니다.

Hadoop FileSystem을 사용하는 동안 Kerberose를 사용하여 인증하려고합니다.

샘플 코드 :

Path src = new Path("C:\\testing\\a\\a.avro"); 
    Path dest = new Path("webhdfs://aaaa:50070/dummy/dummy.avro"); 
    WebHdfsFileSystem web = new WebHdfsFileSystem(); 
    try { 
     Configuration conf = new Configuration(); 
     conf.set("fs.default.name","webhdfs://aaaa:50070"); 
     web.setConf(conf); 
     FileSystem fs = FileSystem.get(web.getConf()); 
     fs.copyFromLocalFile(false,src,dest); 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } 
} 

어떻게 위의 코드에서 Kerberos authication을 달성합니까? 원리와 키탭 값을 설정하는 방법?

Answer 1

귀하의 질문에 대한 간단한 대답은 : 귀하의 hdfs 클라이언트 코드는 모든 것을 올바르게 구성하면 인증 방법을 알고 있습니다. 여기에 게시 한 코드와는 아무런 관련이 없습니다.

Hadoop 보안 자습서를 검토하는 것이 좋습니다.

• Configure Secure Hadoop은 (하둡 1.3 호튼 웍스)
• Adding Security Information to Configuration Files (하둡 2.0 호튼 웍스)
• Configuring Hadoop Security in CDH4
는
• Configuring Hadoop Security in CDH 5

당신의 HDFS 클라이언트가 Windows 시스템 것 같다. Kerberized HDFS를 포함한 Kerberos 클러스터에 액세스하려면 TG30 세션 액세스를 활성화해야합니다 (Registry Key to Allow Session Keys to Be Sent in Kerberos Ticket-Granting-Ticket 참조). 프로세스가 UAC 제한 관리자가 아닌지 확인해야합니다 (Access to Session Keys not possible using a restricted Token 참조).

클러스터가 Windows 클러스터가 될 수 없으며 Kerberos가 적용된 Windows 클러스터는 아직 개발 중에 있습니다 (YARN-1063, YARN-1972 등).