나는 hadoop과 Flume NG가 새로워 도움이 필요하다. hdfs 보안 구현 방법을 이해할 수 없습니다. Flume-ng hdfs security
# properties of hdfs-Cluster1-sink agent_foo.sinks.hdfs-Cluster1-sink.type = hdfs agent_foo.sinks.hdfs-Cluster1-sink.hdfs.path = hdfs://namenode/flume/webdata
여기 수로 사용 설명서의 구성에서 라인은?
질문은 얼마 전부터 있지만, Flume 및 HDFS 보안을 다루는 다른 개발자를 위해이 질문에 답하려고 노력할 것입니다.
Flume의 HDFS 싱크는 데이터가 지속될 끝 점이 필요합니다. 그러한 엔드 포인트는 보안이 유지되는지 여부와 관계없이 Humeop에 완전히 의존하며 Flume에는 의존하지 않습니다.
하둡 생태계에는 보안 구현을위한 여러 가지 도구와 시스템이 있지만 그 중 네이티브 요소에 중점을 두어 인증 및 권한 부여 방법에 대해 설명합니다.
인증은 Kerberos를 기반으로하며 다른 인증 메커니즘과 마찬가지로 누군가 또는 무언가가 사실 또는 누가 선언 된 사람인지 여부를 결정하는 프로세스입니다. 따라서 auth를 사용하면 HDFS 사용자 이름을 알면 충분하지 않지만 이전에 Kerberos에 대해 인증하고 티켓을 얻음으로써 그러한 사용자를 소유해야한다는 사실을 입증해야합니다. 인증은 암호 기반 또는 키탭 기반 일 수 있습니다. 키 탭을 인증 키가 들어있는 "인증서 파일"로 볼 수 있습니다.
권한 부여는 파일 시스템에서 HDFS 내에 폴더 또는 파일이있는 권한을 결정하여 구현할 수 있습니다. 따라서 인증 파일에는 600 개의 권한 만 있으며 그 소유자 만이 파일을 읽거나 쓸 수 있습니다. Hadoop ACL과 같은 다른 인증 메커니즘을 사용할 수 있습니다. 커버 로스 사용자 주체 보안 HDFS 액세스 -
존재는 당신이 Flume sink에보고 한 경우 Kerberos에 대한 매개 변수의 몇이 있음을 볼 수 있다고 말했다
에 액세스하기위한 커버 로스 키 탭은 교장의 Kerberos가 티켓을 할당 할 수있는 고유의 정체성이다. 따라서 HDFS에있는 각 활성화 된 사용자에 대해 Kerberos에 등록 된 주체가 필요합니다. 앞서 말했듯이 keytab은 특정 보안 주체가 소유 한 인증 키의 컨테이너입니다.
따라서 HDFS를 보호하고 Kerberos를 설치하려면 사용 가능한 각 사용자에 대한 주체 및 키탭을 만들고 HDFS 싱크를 올바르게 구성하십시오. 또한 HDFS에서 사용 권한을 적절하게 변경하십시오.