AWS 데이터 파이프 라인을 사용하여 온 - 프레미스 데이터를 S3에 복사

AWS 데이터 파이프 라인을 사용하여 온 - 프레미스 SQL 데이터베이스에서 Amazon S3로 데이터를 가져 오려면 어떻게해야합니까? 자습서에 대한 링크가 도움이 될 것입니다.AWS 데이터 파이프 라인을 사용하여 온 - 프레미스 데이터를 S3에 복사

출처

2014-07-17 rsathish93

사내 작업 주자를 실행해야합니다. 이 태스크 러너는 SQL 데이터베이스에서 S3으로 데이터를 내보낼 수있는 파이프 라인을 실행할 수 있습니다.

데이터베이스가 MySQL 인 경우 데이터를 직접 내보낼 수 있습니다. 아래 자습서에 표시된대로. http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql.html

MySQL이 아닌 경우 직접 내보내기 작업을 작성해야합니다. 예를 들면. Talend DI를 사용하여 ETL 스크립트를 작성하고 Talend 작업을 쉘 활동에 랩핑하십시오.

또한 On-Prem Task Runner 템플릿이 있습니다.
http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-localmysqltords.html

출처

2014-07-18 11:05:58 user1452132

시스템에 TaskRunner를 설치했습니다. S3에 대한 SQL 데이터베이스의 모든 지시 사항을 따르십시오. 그러나 파이프 라인은 "WAITING_FOR_RUNNER"에서 멈추게됩니다. 나는 적절한 IAM cred와 같은 작업 그룹을 가지고있다. MySQL 액세스도 괜찮습니다. 어떤 아이디어? – rsathish93

Task Runner를 시작할 때 자격 증명 및 데이터 파이프 라인 끝 점이 이미 올바른 경우 프록시 문제가있을 수 있습니까? 포트 443이 열려 있습니까? 또한 HTTP 프록시 호스트와 포트를 지정해야합니까? – user1452132

가상 리눅스 머신을 사용하고 있기 때문일 수 있습니까? – rsathish93

AWS 데이터 파이프 라인을 사용하여 온 - 프레미스 데이터를 S3에 복사

답변

관련 문제