BLOB 저장소가있는 azure 데이터 팩토리를 외부 소스로 사용하고 있습니다 (데이터 테이블은 외부로 표시됨).Azure 데이터 팩토리 제공 파일이 인식되지 않습니다.
최근 데이터를 제공하지 않는 데이터 소스를 복원했지만 파일이 현재 BLOB 저장소에 있음을 알지 못합니다. 파일/폴더 명명 규칙은 변경되지 않았습니다.
내 첫 번째 파이프 라인 내 조각의 각각은 모두 아래의 상태가 표시되어 있습니다 :
대기 : 데이터 집합 종속성 나는이 문제를 디버깅하는 데에 무엇을 찾아야한다
를? 누락 된 파일을 다시 검사하도록 데이터 팩토리를 강제 할 수있는 방법이 있습니까? (이 가정은 자동으로 수행 할 것으로 보이지만 파일을 선택하지는 않습니다 - 처리 할 슬라이스를 다시 표시하려고했지만이 방법으로는 도움이되지 않았습니다).
분명히 외부 데이터 세트가 다음 실행을 기다리고 있습니다 (정의한 창 슬라이스로 들어가기 위해). 필요한 모든 BLOB를 복구 한 경우 다이어그램의 해당 파이프 라인으로 이동하여 클릭하여 실행 목록을 열 수 있습니다. Pipeline runs 이러한 데이터를 마우스 오른쪽 단추로 클릭 한 다음 실행을 클릭하면 외부 데이터가 준비되고 당신은 그것의 availabitlity를 바꾼다 :
이것은 외부 데이터 셋이 실패했거나 파일이 처음 도착했을 때 (또는 데이터 셋 정의에 정의 된 후속 X 재시도시) 파일을 감지하지 못했기 때문이다.
모든 재시도 시도가 모두 끝나면 파일은 다시 검사되지 않으므로이 시점 이후에 도착하면 파이프 라인이 실행되지 않습니다. 파이프 라인이 아니라 데이터 세트에 있으므로 파이프 라인을 재실행하면 작동하지 않습니다. 이 문제를 해결하기 위해 알고있는 유일한 방법은 azure 포털 (모니터 및 관리하지 않음)을 열어 "최근에 실패한 데이터 세트"블레이드로 이동하고 해당 항목에서 재실행합니다.
모든 재시도 횟수가 모두 소모되면 여전히 사실입니까? 다이어그램에서 실행하면 업데이트를 위해 외부 슬라이스가 표시되지 않으며 목록에서 다른 메커니즘을 사용합니까? –
다이어그램에서 수동으로 실행 중이며 (이전 실행에서) 준비 됨 상태 인 파이프 라인 슬라이스는 원하는 횟수만큼 해당 슬라이스를 다시 실행할 수 있습니다. – zoxparty
제 경우에 슬라이스의 상태는 "대기 중 : 데이터 집합 종속성"이므로 재실행은 아무 것도하지 않습니다. 현재 유일한 방법은 실패한 데이터 세트에서 Azure 포털을 통해이를 수행하는 것입니다. 파이프 라인은 파이프 라인이 아니라 실패한 데이터 세트이므로 다시 실행되지 않습니다. –