Google Dataflow 작업 모니터

Question

Google 데이터 흐름 작업을 모니터링하고 표시하는 앱을 작성 중입니다.

는 여기에 나열된 구글 데이터 흐름 작업, 나는 REST API를 탐험하고 대한 메타 데이터를 효율적으로 활용하려면 다음

https://developers.google.com/apis-explorer/#search/dataflow/dataflow/v1b3/

다음을 수행 할 수있는 API가있는 경우 궁금 해서요 :

1) 작업 ID 목록을 제공하면 작업 세부 정보를 얻을 수 있습니다 (하나의 개별 작업 ID에 대한 API가 있지만 ID 목록에 대해 동일한 것이 필요함)

2) 작업을 기준으로 작업 검색 또는 필터링 아니면 그거야? 작업 상태와 별개로 다른 기준의 작업 필터링, atter.

3) 시간의 시작부터, 데이터 흐름 작업

4) "모든"작업의 기록을 얻기과 관련된 로그 메시지를 가져옵니다. 현재 API는 지난 30 일 동안의 작업 만 기록한 것으로 보입니다.

도움을 주시면 감사하겠습니다. 고마워요

Answer 1

에서 데이터 흐름 REST API에 대한 추가 문서가 : 별도로 각 질문을 해결 https://cloud.google.com/dataflow/docs/reference/rest/

:

은

1) 우리가 작업 ID의 목록을 제공하는 경우 작업의 세부 사항을 얻기는 (한 개인 작업 ID에 대한 API가있다,하지만 난 ID 목록)에 대해 동일한를 원

아니, 배치 m가 없다 직업리스트는 ethod. projects.jobs.get을 사용하여 개별적으로 쿼리해야합니다.

2) 작업 이름을 기준으로 작업을 검색하거나 필터링하십시오. 그렇지 않으면 작업 상태 이외의 다른 기준으로 작업 필터링.

현재 가능한 유일한 다른 필터는 위치입니다.

3) 가져 오기 데이터 흐름 작업과 연관된 메시지를 기록

데이터 흐름에서

로그 메시지의 두 가지 유형이 있습니다 :

"작업 로그"데이터 흐름 서비스에 의해 생성되고 높은 제공하는이 전체 작업 실행에 대한 레벨 정보. 이는 projects.jobs.messages.list API를 통해 사용할 수 있습니다.

SDK 및 사용자 코드가 파이프 라인에서 실행되는 "작업자 로그"도 있습니다. 이는 파이프 라인과 연결된 분산 VM에서 생성되어 Stackdriver으로 수집됩니다.그들은 필터에 포함시켜 스택 드라이버 로깅 entries.list API를 통해 조회 할 수 있습니다 :

resource.type="dataflow_step" 
resource.labels.job_id="<YOUR JOB ID>" 

4) 시간의 처음부터, "모든"작업의 기록을 가져옵니다. 현재 API는 지난 30 일 동안의 작업 만 기록한 것으로 보입니다.

데이터 흐름 작업은 30 일 동안 서비스에서 유지됩니다. 이전 작업은 삭제되므로 UI ​​또는 API에서 사용할 수 없습니다.

Answer 2

이 경우 우리는 작업 단계를 추적하고 스케줄러/cron 작업을 사용하여 실행중인 작업의 세부 사항을 하나의 파일로보고함으로써 이러한 기능을 구현했습니다. 1 버킷 withing에이 파일은 우리의 응용 프로그램에 대한 모든 상태를 제공합니다 우리의 작업에 의해 감시되고