aws-cli가 S3에 파일을 업로드 할 때 체크섬을 확인합니까, 아니면 직접 관리해야합니까?

aws-cli를 사용하여 S3에 데이터를 업로드하는 경우 (예 : aws s3 cp 사용) aws-cli가 S3의 결과 파일이 원본 파일과 일치하는지 확인하거나 어떻게 든 관리해야합니까? ?aws-cli가 S3에 파일을 업로드 할 때 체크섬을 확인합니까, 아니면 직접 관리해야합니까?

this answer 및 putObject()에 대한 Java API 설명서에 따르면 업로드 후 MD5 체크섬을 확인할 수있는 것 같습니다. 그러나 aws-cli가 실제로 그렇게하는지 여부에 대한 확실한 답을 찾을 수 없습니다.

백업 프로세스에서 GPG 암호화 된 파일을 업로드하려고하므로 문제가 있습니다. S3에 저장된 내용이 실제로 원본과 일치한다는 확신이 필요합니다.

출처

2014-10-02 Ken Pronovici

--contentMd5 옵션을 사용하는 방법에 대한 답변이 나와 있습니다. 그러나 aws s3 cp는 옵션으로 --contentMd5를 허용하지 않습니다. http://docs.aws.amazon.com/cli/latest/reference/s3/cp.html을 참조하십시오. 그러면 체크섬을 어떻게 달성 했습니까? 나는 동일한 상황에 처해 있으며 도움이 필요하다. aws s3 cp는 --recursive 옵션도 사용할 수 있으므로 매우 혼란 스러울 수 있습니다. 따라서 100 개 중 2 개의 업로드 만 실패한 경우 어떻게 알 수 있습니까? 의견을 부탁합니다. – kk1957

@ kk1957,'--debug'가 활성화 된 상태에서 출력을 보는 것으로부터,'aws cp'가 사용하는 botocore 라이브러리의 커버 아래에서 체크섬 확인이 일어나고있는 것 같습니다. 그러나 실제로 botocore 소스 코드에서 그 사실을 확인할 수 없었습니다. 현재, 나는 그것에 대해 너무 걱정하지 않고 앞으로 나아 갔다. 나는'aws s3api'를 사용하여 post-'cp' 검사를 구현하여 예상되는 모든 파일이 존재하고 모든 파일이 올바른 크기를보고하는지 확인했습니다. 그게 지금 내가 할 수있는 최선책 같아. –

https://github.com/aws/aws-cli/issues/949에서 aws cli로 문제를 열었습니다. – kk1957

aws-cli github의 the faq에 따르면, 대부분의 경우 업로드 및 다운로드 중에 체크섬이 검사됩니다. 업로드

요점 :

AWS CLI 표준 및 다중 업로드 모두에 대한 내용-MD5 헤더를 계산합니다.
S3에서 계산 한 체크섬이 Content-MD5가 제공 한 과 일치하지 않으면 S3에 개체가 저장되지 않고 은 AWS CLI를 반환하는 오류 메시지를 반환합니다.
AWS CLI는이 오류를 최대 5 회까지 재 시도하고 0이 아닌 종료 코드로 종료합니다.

출처

2016-03-21 19:00:26

인용하고있는 원본 문서의 세부 정보를 추가하면이 대답을 수락합니다. –

이것이 세부 사항이라고 생각하십니까? –

네, 그게 많은 정보입니다. –

aws-cli가 S3에 파일을 업로드 할 때 체크섬을 확인합니까, 아니면 직접 관리해야합니까?

답변

관련 문제