큰 데이터 세트로 증분로드를 처리하는 방법 ssis

Question

일치하는 레코드와 일치하지 않는 레코드에 대해 삽입/업데이트 작업을 수행해야하는 2 개의 테이블 (4 백만 행)이 있습니다. 나는 점진적로드에 사용해야하는 메소드에 대해 꽤 혼란 스럽다. 조회 구성 요소 또는 새 SQL Server 병합 문을 사용해야합니까? 성능 차이가 너무 많습니까?

Answer 1

조숙 한 최적화는 모든 악의 근원이며, 나는 ssis에 대해 모른다. 그러나 이것에 관해 생각하는 것은 항상 빠르다.

데이터 유형 및 사용중인 하드웨어 구성에 따라 4 백만 행을 "크게"또는 "작게"지정할 수 있습니다.

Answer 2

SSIS 조회에는 최상의 성능을 얻는 데 중요한 세 가지 캐싱 모드가 있습니다. 대형 테이블을 찾고있는 경우 FULL 캐시 모드는 많은 메모리를 낭비하고 성능을 저해 할 수 있습니다. 조회 대상이 작은 경우이를 메모리에 보관하십시오. 또한 데이터를 처리 할 때 찾고있는 데이터가 변경 중인지 여부도 결정해야합니다. 그렇다면 캐시하지 않으려 고합니다.

더 정확한 대답을 공식화 할 수 있도록 내가하는 일에 대해 더 많은 정보를 제공해 줄 수 있습니까?

Answer 3

나는 몇 차례이 정확한 문제를 겪었으며 ETL을 통해 SQLserver에 전체 데이터 세트를로드하고 저장된 procs로 조작해야했습니다. 항상 SSIS 변환을 통해 너무 오랫동안 데이터를 업데이트하는 방식으로 진행되는 것처럼 보였습니다.