2010-12-01 10 views
2

들어오는 데이터 스트림의 내용을 저장 한 다음 나중에 데이터를 출력해야하는 SSIS 변환 구성 요소를 개발 중입니다. 이것은 (모든 데이터 유형의) 많은 필드가있는 다수의 레코드 일 수 있습니다.SSIS 변환 구성 요소 : 대용량 데이터 저장소

예를 들어 모든 레코드가 입력 될 때까지 단일 레코드를 출력 할 수없는 '정렬'구성 요소를 개발하는 경우이 유형의 저장소가 필요합니다.

제 질문은 -이 임시 데이터를 저장할 때 권장되는 방법은 무엇입니까? 필자가 본 Microsoft 및 Codeplex 예제는 인 메모리 구조를 사용한다는 점에서 다소 사소한 것입니다. 나는 이것이 큰 데이터 세트로 작업 할 때 매우 나쁜 생각 인 것처럼 보이기 때문에 이것을 피하고 싶다.

이렇게하려면 SSIS 라이브러리에 메커니즘이 있습니까? 메모리에서이 스트림으로 기록 오프셋을 유지 스트림에 을 디스크에

  • 저장 데이터 :

    내가 몇 가지 옵션을 고려하고 는 [거기처럼 좋아, 그것은 본다] . 단계의 출력 중에이 오프셋을 사용하여 원하는 레코드를 찾습니다.

  • 데이터는 사용자가 선택하는 ADO 또는 OLEDB 데이터 소스 에 저장하십시오.
  • 기타 제안 사항?

답변

2

아니요 - API에 공개 된 제 3 자 액세스 가능 "버퍼링"메커니즘이 없습니다. 디스크에 페이징하거나 모든 행을 메모리에 저장하지 않도록 선택한 메커니즘을 포함하여 직접 책임을 져야합니다.

+0

너무 나쁨. 대체 옵션에 대한 제안 사항이 있습니까? –

관련 문제