Kiba-etl Mutliple Transformation-Multiple Destination

Question

여러 변환을 여러 대상에 배포하려고합니다. 예 :

orginal.csv: 
title 
movies1 
movies2 
movies3 
movies4 

.themoviedb에 첨가하고, 그것을 난 rated_movies.csv 내지 S3 변환이 파일을 푸시 할 또이

better_movies.csv: 
title 
movies1=9 
movies2=5.5 
movies3=7 
movies4=8 

로 변환된다 movies1 = 9 을 movies = 8

출력이 이어야합니다. 어떻게해야이 파일을 내 s3 폴더로 푸시 할 수 있습니까?

Answer 1

질문 제목을 토대로 정확히 무엇을 요구하고 있는지 명확하지 않습니다. 명확히 할 수 있습니까?

변형에 의해 변환 된 소스 파일 (CSV)이 S3로 보내려는 대상 파일 (CSV)로 작성되었다고 가정하면 한 가지 방법은 post_process 블록이 준비되면 대상 파일에서 작동합니다.

는 대략 그것을 줄 것이다 :

source CSVSource, file: my_source_file 

transform 
transform 
transform 

destination CSVDestination, file: my_target_file 

post_process do 
    # send your file to s3, by shelling out to `aws s3 cp` 
    # (but make sure to check the exit code if you do so!) 
    # or by using the AWS ruby SDK 
end 

같은 첫 번째 아래에 새 대상을 추가하는 등 물론 다른 많은 가능성이 있습니다.

희망이 도움이됩니다.