Azure의 데이터 팩토리에서 ADL 저장소로 U-SQL 스크립트 실행

Question

USL 스크립트를 ADL 저장소에 저장 했으므로 실행하려고합니다. 스크립트 파일은 약 250Mb 크기입니다.

지금까지 데이터 팩토리가 있고 Linked Service를 만들었으며 데이터 호수 분석 U-SQL 활동을 만들려고합니다.

내 U-SQL 활동에 대한 코드는 다음과 같습니다

{ 
"name": "RunUSQLScript1", 
"properties": { 
    "description": "Runs the USQL Script", 
    "activities": [ 
     { 
      "name": "DataLakeAnalyticsUSqlActivityTemplate", 
      "type": "DataLakeAnalyticsU-SQL", 
      "linkedServiceName": "AzureDataLakeStoreLinkedService", 

      "typeProperties": { 

       "scriptPath": "/Output/dynamic.usql", 
       "scriptLinkedService": "AzureDataLakeStoreLinkedService", 
       "degreeOfParallelism": 3, 
       "priority": 1000 
      }, 
      "policy": { 
       "concurrency": 1, 
       "executionPriorityOrder": "OldestFirst", 
       "retry": 3, 
       "timeout": "01:00:00" 
      }, 
      "scheduler": { 
       "frequency": "Day", 
       "interval": 1 
      } 
     } 
    ], 
    "start": "2017-05-02T00:00:00Z", 
    "end": "2017-05-02T00:00:00Z" 
} 

} 그러나

, 나는 다음과 같은 오류 얻을 : 내가 좋아하는 것이 무엇

이

Error

Activity 'DataLakeAnalyticsUSqlActivityTemplate' from >pipeline 'RunUSQLScript1' has no output(s) and no schedule. Please add an >output dataset or define activity schedule.

해야하는 것입니다 이 활동은 주문형으로 실행됩니다. 즉 일정이 전혀 필요 없으며 또한 필자의 경우 입력 및 출력이 무엇인지 이해하지 못합니다. 내가 실행하려고하는 U-SQL 스크립트는 ADL 저장소에있는 수백만 개의 파일에서 작동하며 콘텐츠를 수정 한 후에 저장합니다.

Answer 1

현재 ADF는 USQL 활동을 위해 ADLS에 저장된 USQL 스크립트 실행을 지원하지 않습니다. 즉, "typeProperties"아래의 "scriptLinkedService"는 Azure Blob Storage Linked Service 여야합니다. 보다 명확하게하기 위해 USQL 활동에 대한 문서를 업데이트 할 것입니다.

ADLS에 저장된 실행중인 USQL 스크립트를 지원하는 것은 제품 백 로그에 나와 있지만 아직 커밋 된 날짜가 없습니다.

셜리 왕

Answer 2

현재 ADF 주문형 활동의 실행을 지원하지 않으며 스케줄을 구성 할 필요가있다. 활동의 스케줄 실행을 실행하려면 최소한 하나의 출력이 필요합니다. 출력은 더미 Azure Storage가 될 수 있지만 실제로 데이터를 쓰지는 않지만 ADF는 가용성 속성을 활용하여 일정 실행을 유도합니다. 예 :

{ 
"name": "OutputDataset", 
"properties": { 
    "type": "AzureBlob", 
    "linkedServiceName": "AzureStorageLinkedService", 
    "typeProperties": { 
     "fileName": "dummyoutput.txt", 
     "folderPath": "adf/output", 
     "format": { 
      "type": "TextFormat", 
      "columnDelimiter": "\t" 
     } 
    }, 
    "availability": { 
     "frequency": "Day", 
     "interval": 1 
    } 
} 
}