나는 주전자를 처음 접했습니다. 그리고 저는 이것을 변환 할 때 "변수 설정"단계를 사용할 때 읽습니다. "주전자 변환의 모든 단계가 병렬로 실행됩니다." 어떻게 이것이 가능할 수 있는지 궁금하네요.주전자 변환의 모든 단계가 병렬로 실행됩니다.
예를 들어, 두 단계 만있는 변환이 있습니다. A는 CSV 파일에서 데이터를 읽고 B는이 데이터를 XML 파일에 씁니다. 이 두 단계를 병렬로 실행하면 B가 데이터를 읽기 전에 xml에 데이터를 쓸 수 있습니까?
모든 답변을 주시면 감사하겠습니다.
정확하게 말합니다. 변환이 시작되면 모든 단계가 동시에 시작됩니다. 그런 다음 입력 "버퍼"또는 일반적으로 50k 행인 행 집합을 갖습니다.
그래서; 첫 번째 단계에서 처음 50K 행을 읽으면 버퍼를 채우고 첫 번째 단계가 계속 읽는 동안 다음 단계에서 해당 행을 처리하기 시작합니다.
등등 등등 선 아래로 .. 첫 번째 50K 행이 CSV에서 읽은 당신의 예에서
, 여전히 다음 50K를 읽고 그 동안 해당 행으로 XML을 쓰기 시작합니다 .
왜 이전 변수에서 설정 변수를 사용해야하며 작업과 함께 묶어야합니다.
pdi 작업을 성능 조정할 때 중요한 점 중 하나는 체인에서 가장 느린 단계를 식별하는 것입니다. 고맙게도 성능 메트릭을 사용하면이 작업을 매우 쉽게 처리 할 수 있습니다!
또한 원하는 경우 여러 단계를 실행할 수도 있습니다. 데이터베이스에 쓰는 단계 등.