구조가 다양한 다중 소스 관리

Question

여러 옵션을 가질 수있는 디자인 문제가 있습니다. 는 SRC1 3 개 필드 (F1, F2, F3) , SRC2로 표를 가지고 말할 수,
이러한 소스는 다른 방식으로 동일한 콘텐츠에 대한 자신의 정보를 제공 SRC1, SRC2, SRC3 : 우리는 데이터를 추출하는 여러 원인을 가질 테이블 1 필드 (fc1, fc2, fc3, fc4, fc5) 등

내가 원하는 구성 가능한 출력 (최소 구성 가능한 노력이 필요) 및 다른 끝 유니폼 구조가 있습니다.이 구성을 결정할 것입니다. 다음 업로드를 위해 선택하고 싶은 src, table, fiels.

내 솔루션은 다음과 같은 디자인 결정이 포함

• 당신이 소스가 지원하는 모든 제안 된 구조의 슈퍼 세트를 포함 할 각 데이터 source.This 메타 영역에 대한 정보가 필요 메타 영역을 유지합니다.
• 은 이제이 초기 메타 영역에서 매핑되는 작업 준비 영역을 얻습니다.

이 두 가지 문제, 소스

의 2.uniform 목록 내가이 디자인에 대한 추가 제안을하고 싶은 모든 소스의 1.Tracking를 해결합니다.

일부 출처를 살펴 보았지만 관련 프로세스는 언급하지 않았습니다. 여러 소스 화해 할 때 데이터 품질 함정을 피하기

: [ http://www.blue-granite.com/blog/bid/313445/Avoiding-Data-Quality-Pitfalls-when-Reconciling-Multiple-Sources]

Answer 1

우리는 약간의 메타 데이터 테이블을 사용하여 매우 비슷한 상황을 해결했다. 테이블은 metadata_tbl (type, property, value, enabled)와 유사합니다. 유형은 이것이 어떤 종류의 특성인지 정의합니다. 속성은 값을 변경할 수있는 모든 것일 수 있습니다. 값에는 실제로 활성화 된 플래그가 특징 인 활성 시나리오에 대한 올바른 값이 포함됩니다. 요구 사항에 따라 둘 이상의 레코드에서 플래그를 Y로 설정했는지 여부를 결정할 수있는 규칙을 만들 수 있습니다.

이제 모든 시나리오에서 특정 유형 및 속성을 검색하고 활성 값을 선택하기 만하면됩니다.

예. 당신이, 당신이

Type  Property Value Enabled 
ColMap t.y   x  Y 

나중에지도가 변경되면 메타 데이터 테이블에서 레코드를 생성 할 수있는 목표 테이블 t에 열 Y로 소스 테이블 A의 열 X를 매핑 할, 당신이 오직 할 필요가있는 변화이다 여기의 매핑과 ETL을 전혀 변경할 필요가 없습니다.