S3에서 redshift로 데이터를 복사하여

Question

어떻게하면 S3 버킷에서 Redshift로 CSV 파일을 복사하고 중복 행을 피할 수 있습니까? copy 명령에 대해 읽었지만 PHP SDK를 통해 설명서를 찾지 못했습니다.

Answer 1

PHP SDK는 관리 콘솔 (웹 콘솔과 동일)을 실행하도록 설계되었습니다.

데이터를로드하려면 PostgreSQL 커넥터를 사용하여 데이터베이스에 연결하고 COPY 쿼리를 실행하십시오.

중복 행을 피하는 것이 다른 문제입니다. 현재 redshift가 UNIQUE 제약 조건을 적용하지 않기 때문에 소스 파일에있는 모든 행이 대상 테이블에 추가됩니다 (동일한 UNIQUE 값이 이미 있더라도).

문서에서는 같은에만 새 행을 가져 오는 몇 가지 힌트를 제공합니다 temp_table에

1. COPY 데이터;

2. 삽입 새 데이터 만 :

INSERT INTO dest_table (
    SELECT * from temp_table 
    WHERE key NOT IN (
    SELECT key FROM dest_table 
) 
)