Amazon Redshift와 같이 Amazon Aurora MySQL에서 Amazon S3로 데이터를 언로드 할 수 있습니까?

Question

Amazon Redshift에서와 같은 방식으로 Amazon Aurora MySQL 테이블에서 언로드 된 데이터를 처리하는 데 사용하려는 Amazon Elastic Map Reduce (EMR) 작업이 있습니다.

unload ('select * from whatever where week = \'2011/11/21\'') to 's3://somebucket' credentials 'blah' 

는 다음, EMR 작업이 덤프 된 데이터에서 줄을 처리하고 S3에 다시 기록 : 즉, 같은 쿼리를 실행합니다.

이것이 가능합니까? 방법?

Answer 1

이 답변이 처음 작성된 후 (처음에는 대답이 "아니오"였습니다) 오로라는이 기능을 추가했습니다.

SELECT INTO OUTFILE S3 SQL 문을 사용하여 Amazon Aurora 데이터베이스 클러스터의 데이터를 쿼리하고 Amazon S3 버킷의 텍스트 파일에 직접 저장할 수 있습니다. 즉, 더 이상 SQL 클라이언트에 데이터를 가져 와서 클라이언트에서 Amazon S3로 복사하는 2 단계 프로세스가 필요하지 않습니다. Amazon Redshift 또는 다른 응용 프로그램으로 데이터를 선택적으로 내보내는 쉬운 방법입니다. MySQL 용 오로라

https://aws.amazon.com/about-aws/whats-new/2017/06/amazon-aurora-can-export-data-into-amazon-s3/

은이 기능을 지원하지 않습니다.

아시다시피, 기존 서버에서 MySQL에는 서버 (로컬) 파일과 함께 작동하는 LOAD DATA INFILE 및 SELECT INTO OUTFILE의 두 가지 보완 기능이 있습니다. 2016 년 말, Aurora announced은 S3 아날로그에서 LOAD DATA INFILE - LOAD DATA FROM S3으로 변하지 만, 적어도 아직까지는 반대 기능이 없습니다.

Answer 2

이제이 기능이 지원되는 것으로 보입니다. 명령은 SELECT INTO OUTFILE S3입니다.

Answer 3

SELECT INTO OUTFILE S3 문을 사용하면 Amazon Aurora MySQL DB 클러스터의 데이터를 쿼리하고 Amazon S3 버킷에 저장된 텍스트 파일에 직접 저장할 수 있습니다. 이 기능은 오래 전에 추가되었습니다.

예 :

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data' 
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'; 

그리고 여기에 지원되는 모든 옵션 :

SELECT 
    [ALL | DISTINCT | DISTINCTROW ] 
     [HIGH_PRIORITY] 
     [STRAIGHT_JOIN] 
     [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT] 
     [SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS] 
    select_expr [, select_expr ...] 
    [FROM table_references 
     [PARTITION partition_list] 
    [WHERE where_condition] 
    [GROUP BY {col_name | expr | position} 
     [ASC | DESC], ... [WITH ROLLUP]] 
    [HAVING where_condition] 
    [ORDER BY {col_name | expr | position} 
     [ASC | DESC], ...] 
    [LIMIT {[offset,] row_count | row_count OFFSET offset}] 
    [PROCEDURE procedure_name(argument_list)] 
INTO OUTFILE S3 's3_uri' 
[CHARACTER SET charset_name] 
    [export_options] 
    [MANIFEST {ON | OFF}] 
    [OVERWRITE {ON | OFF}] 

export_options: 
    [{FIELDS | COLUMNS} 
     [TERMINATED BY 'string'] 
     [[OPTIONALLY] ENCLOSED BY 'char'] 
     [ESCAPED BY 'char'] 
    ] 
    [LINES 
     [STARTING BY 'string'] 
     [TERMINATED BY 'string'] 
    ] 

당신은 여기 AWS의 문서에이를 찾을 수 있습니다

: MySQL 용 https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/AuroraMySQL.Integrating.SaveIntoS3.html