여러 소스에서 데이터 업데이트

Question

고객 정보가있는 데이터베이스를 설정하는 중입니다. 데이터베이스는 고객 데이터 (고객 ID, 주소, 전화 번호 등)와 특정 고객이 어떤 광고를 받았는지, 그리고 고객이 어떻게 반응했는지에 대한 기본 정보를 처리합니다.

데이터는 중앙 데이터웨어 하우스에서 유지되지만 고객 및 광고에 대한 추가 정보는 다른 소스에서도 업데이트됩니다. 예를 들어, 외부 광고 대행사가 캠페인을 운영하는 경우 OptOuts, 전자 메일 반송 등에 대한 데이터를 피드백 할 수 있기를 바랍니다. 필요한 기관은 여러 대행사에 쉽게 전달할 수있는 API입니다. .

첫 번째 생각은 모든 외부 소스에 대해 웹 서비스 API를 설정하는 것이었지만 대량 데이터 (수백만 건의 레코드)를 말하고 있기 때문에 웹 서비스가 최상인지는 확실하지 않습니다. 선택권.

제 질문은 여기에있어 가장 좋은 방법은 무엇입니까? 나는 광고 대행사 (적당히 숙련 된 IT 인 가능성이 있음)가 사용하기에 충분히 간단한 솔루션이 필요합니다. 단순함은 본질의 것입니다.이 경우에는 "성능 단순성"을 의미합니다. 설정이 너무 복잡하면 작동하지 않습니다.

시스템은 Microsoft 기술을 기반으로합니다.

제안 사항?

Answer 1

설명하는 프로세스를 일반적으로 ETL 프로세스를 사용하는 데이터 통합이라고합니다. ETL은 Extract-Transform-Load를 나타냅니다. 아이디어는 많은 다른 데이터 소스에서 정보를 추출하고 변환 한 다음 데이터웨어 하우스에로드하여 중앙 데이터웨어 하우스를 구축하는 것입니다.

이러한 프로세스를 구현하기 위해 다양한 그래픽 도구가 있습니다. 아마도 Microsoft 스택을 실행하겠다고 말했기 때문에 SSIS (Server Integration Services)를 살펴 보는 것이 좋습니다.

웹 서비스를 사용하여 통합을 구현하라는 제안에 관해서는 좋은 아이디어라고 생각하지 않습니다. 마찬가지로 데이터 통합의 부담을 고객에게 전가시키는 것도 좋은 아이디어라고 생각하지 않습니다. 데이터 교환 형식의 일부 형식으로 고객에게 동의해야하며, CSV 파일 또는 XML, Excel 시트, Access 데이터베이스와 같이 간단 할 수도 있습니다.

SSIS와 같은 최신 ETL 도구는 다른 데이터 소스로 작업 할 수 있습니다.