Azure DataFactory 파이프 라인 타임 아웃

Question

현재 우리는 200,000 개가 넘는 레코드가있는 테이블을 가지고 있으므로 azure sql 데이터베이스에서 다른 sql 데이터베이스로 데이터를 옮길 때 시간 초과가 발생하여 3 시간 이상 걸리면 시간 초과 오류가 발생합니다. 타임 아웃을 1 시간으로 설정하십시오.하지만 타임 아웃 에러 때문에 타임 아웃 간격을 3 시간으로 늘려야하지만 여전히 작동하지 않습니다.

이것은 우리가 프로세스를 정의한 방법입니다.

1. 두 데이터 세트 -> 우리가 선택 같은 쿼리를 파이프 라인 내부의 입력 및 출력
2. 하나의 파이프 라인 * 테이블에서; 그리고 우리는 프로 시저와 그 스크립트를 저장했습니다
3. 테이블에서 모든 레코드를 삭제하십시오.
4. 모든 레코드를 삽입하는 문장을 삽입하십시오.

지난 24 시간 동안 날짜 열을 기준으로 수정되거나 삽입 된 모든 데이터를 업데이트하고 삽입하기 위해 시간이 오래 걸립니다.

azure 파이프 라인에는 지난 24 시간 동안 원본 azure db에 삽입되거나 업데이트되는 레코드를 검사하는 기능이 있거나 대상 SQL 저장 프로 시저에서 수행해야하는 기능이 있습니다.

Answer 1

Azure Data Factory에는 writeBatchsize와 같은 sth 옵션이 있습니다. 각 레코드에 대해 플러시하는 대신 간격으로 데이터를 플러시하도록이 값을 설정할 수 있습니다.