Pentaho DI를 사용하여 여러 데이터 스트림 결합하기

Question

pentaho를 처음 사용하면서 데이터를 여러 스트림으로 필터링하여이 작업에서 여러 메트릭을 계산할 것입니다.

계산이 잘 작동하는 개별 스트림의 유효성을 검사했습니다.

이제 대상 데이터베이스에로드하려고합니다. 다중 경로 조인을 사용하여 시도했는데 올바른 구성 요소인지 여부는 확실하지 않지만 레코드를 생성하지 않았습니다.

이렇게하려면 적절한 단계를 제안하십시오. 주전자 파일을 여기에 동봉했습니다.

감사합니다. DimLoad

Answer 1

좋아, 변환. 잠시 살펴본 후 Multiway Merge Join으로 흐르는 각 스트림이 조인 키로 정렬되어야한다는 점이 문제라고 생각합니다. 이 단계에 대한 문서는 거의 없지만 두 개 이상의 스트림이있는 것처럼 Merge Join 단계와 동일한 방식으로 작동하며 병합 조인 단계에는 정렬 된 입력이 필요합니다.

참고로 Filter Rows 단계는 성능 저하 요인입니다. 큰 입력 집합이있는 경우 첫 번째 필터를 Table Input의 select 문으로 푸시 다운합니다. 그런 다음 다른 행을 13 개의 필터 행 대신 Switch/Case으로 분할합니다. 전체 테이블의 각 행에 대해 13 개의 복사본을 만듭니다.