Netezza에서 SQL Server 로의 데이터 마이그레이션

Question

40 억 개의 레코드가있는 Netezza DB가 있습니다. 데이터를 SQL Server로 옮기는 마이그레이션 프로젝트를 진행하고 있습니다. 간단한 SSIS ETL을 만들었지 만 매우 오랜 시간 동안 실행 중이며 버퍼 메모리 문제로 인해 중지됩니다. 엄청난 양의 데이터를 전송하는 효율적인 빠른 방법은 무엇입니까?

Answer 1

원본 데이터를 배치 (예 : 1,000,000 행 (메모리에 따라 다름))로 배치하여 Netezza 테이블로 병합 할 수 있습니다.

DECLARE @BatchSize INT = 10000 

    WHILE 1 = 1 
    BEGIN 

        INSERT INTO [dbo].[Destination] --WITH (TABLOCK)  -- Uncomment for 2008 
        (
            FirstName 
            ,LastName 
            ,EmailAddress 
            ,PhoneNumber 
        ) 
        SELECT TOP(@BatchSize)  
            s.FirstName 
            ,s.LastName 
            ,s.EmailAddress 
            ,s.PhoneNumber 
        FROM [dbo].[SOURCE] s 
        WHERE NOT EXISTS (  
            SELECT 1 
            FROM dbo.Destination 
            WHERE PersonID = s.PersonID 
        ) 

        IF @@ROWCOUNT < @BatchSize BREAK 
         
    END