ETL에서 ELT로 이동 하시겠습니까?

Question

로딩 시간을 줄이기 위해 조직에서 데이터 통합 ​​프로세스를 ETL에서 ELT로 변경할 수 있는지 알고 싶습니다. DWH 인프라가 일치하지 않으면 어떻게해야합니까?

Answer 1

나는 그것이 목표로하는 DWH 플랫폼과 그 성능과 함께 내부적으로 변환을 수행 할 수있는 능력에 달려 있다고 말하고 싶다. 필자는 과거에 Teradata DWH를 사용하여이 작업을 수행했습니다. 우리가 사용하고 있던 도구가 변환 작업을 수행 할 수 없었기 때문에 Teradata 시스템이 무거운 작업을 수행하게하여 훨씬 효율적으로 SQL을 작성할 수있었습니다.

또한 ETL 도구를 사용하고 있습니까? 최적화 잠재력이 있습니까?

Answer 2

우리는 CDC를 데이터 캡처 도구로 사용한 다음 실제로 작업을 통해 데이터를 전송하는 SSIS (실제로 자국 버전)를 사용하여 유사한 전략을 구현했습니다. 우리의 경우 SSIS 부분은 주 클라이언트 프로덕션 데이터 서버 (리소스 분리)에서 스테이징 DB로 데이터를 주기적으로 덤프하고 스테이징 DB의 저장 프로 시저가 다소 복잡한 변환 작업을 완료하기 위해 대신 사용합니다. 이 방법으로 소스에 따라 데이터를 제공하는 DW 및 DM 대상이 있으므로 여러 대상에 출력 할 수 있습니다. 이를 통해 융통성을 확보하고 추출 측에서 무리한 부분을 제거 할 수 있으며 변경 사항 유지 관리 일정을 훨씬 쉽게 수립 할 수 있습니다.

Answer 3

ETL and ELT 사이를 전환하는 것은 비즈니스 요구 사항, 사용 된 데이터웨어 하우스, 사용중인 ETL/ELT 도구 및 사용 가능한 데이터 소스, 지원/관리자 스태프 기능에 따라 달라질 수 있습니다. ELT는 아직 성숙하기 때문에 작업을 수행하는 데 사용할 수있는 도구가 없습니다. 귀하의 비즈니스가 변환 작업을 더 많이 수행 할 수있는 가능성을 처리 할 수 ​​있거나 필요로하는 도구를 찾기가 행운이라면, ELT는 합리적인 전환입니다.

데이터의 크기와 구조에 따라 로딩 시간이 줄어들 수 있습니다. 그러나 ETL 기반 데이터웨어 하우스는 ELT를 지원하도록 구성되지 않을 수 있습니다. ELT는 쿼리시 변환을 수행하기 때문에 쿼리에 최적화되지 않은 스키마 구조에 데이터가로드되면 병목 현상이 발생할 수 있습니다. 잘못된 구조를 가진 저장소는 ELT 해석으로 전환하는 것보다 더 많은 문제점을 야기 할 수 있습니다.

마지막 질문에 답하면 모든 것이 데이터웨어 하우스 인프라와 스키마 구조가 일치하지 않는 방식에 달려 있습니다. 변환을 사용하여 임의 (ad-hoc) 쿼리를 처리하려면 처리 능력이 필요합니다. 기본적으로 모든 데이터로드를 지원하는 DWH 구조가 필요하며 쿼리 친화적입니다.