o3 작업 흐름을 사용하는 s3 서버 측 암호화

Question

s3 버킷에 데이터를 쓰는 sqoop 작업이 있습니다. 명령 줄에서이 작업을 실행하면 s3 파일이 암호화됩니다. 그러나 oozie 워크 플로를 사용하여 sqoop 작업을 실행하기 위해 동일한 jar 파일을 사용하는 경우 데이터를 s3으로 푸시하지만 암호화가 발생하지 않습니다.

다음은 내 oozie 워크 플로입니다.

<java> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class> 
     <arg>root</arg> 
     <arg>root</arg> 
     <arg>test</arg> 
    <arg>avro</arg> 
    <arg>sqoop-demo</arg> 
    </java> 
    <ok to="end"/> 
    <error to="email-action" /> 
</action> 

jar 안에는 distcp 명령을 사용하여 hdfs에서 s3으로 데이터를 복사하고 있습니다.

그래서 oozie 워크 플로우를 사용하여 s3 파일에 대한 서버 측 암호화를 수행 할 수 있습니까?

Answer 1

클러스터를 시작하기 전에 EMR 클러스터에서 s3 암호화를 활성화하여 위의 문제를 해결했습니다.