S3 파일을 줄 단위로 나누어 다른 버킷에 넣기

S3에 적당한 크기의 파일 (EMR에서 가져온 파일)이 있고 각 줄에는 별도의 버킷에 넣고 싶은 키와 개체가 있습니다.S3 파일을 줄 단위로 나누어 다른 버킷에 넣기

데이터 파이프 라인을 사용하여 이것을 구현하는 방법이 있습니까?

2016-10-18 hareendra reddy

이 데이터를 다른 s3 버킷으로 복사하려면 데이터 파이프 라인의 CopyActivity를 사용하면됩니다. 당신의 파이프 라인은 CopyData와 출력 S3DataNode에 대한 입력으로서 S3DataNode를 가질 것입니다. AWS 데이터 파이프 라인 콘솔에서 사용할 수있는 템플릿 중 하나를 사용해 보시고 위에서 언급 한 객체를 갖도록 파이프 라인을 편집하십시오.

출처

2016-10-24 21:17:20

파일을 복사하고 싶지는 않지만 파일을 한 줄씩 나눠서 별도의 버킷에 넣고 싶습니다. e, g의 경우 : 첫 번째 파일에 1000 줄이 있으면 1000 개의 항목을 별도의 버킷에 저장합니다. –

S3 파일을 줄 단위로 나누어 다른 버킷에 넣기

답변

관련 문제