데이터 흐름 로그 UI에 나열되는 모든 다른 로그는 무엇입니까? 클라우드 데이터 흐름 로그인 UI에서

Question

내가 볼 4 가지 로그

1. 흐름 마구
2. 흐름 하네스 - 표준 출력
3. 흐름 노동자 - 스타터
4. 은 무엇

셔플 이 로그는 각각 무엇을 나타 냅니까?

다음은 제가 의미하는 바를 보여주는 스크린 샷입니다.

Answer 1

흐름 마구 및 흐름 하네스 - 표준 출력는 자바 노동자 하네스에 의해 생성 된 로그입니다. 작업자 하네스는 대부분의 작업을 수행합니다 (예 : ParDo를 데이터에 적용).

데이터 흐름 하네을 선택하면 java 작업자 장치가 기록한 모든 메시지가 표시됩니다.

우리는 또한 java 작업 장치의 stdout/stderr를 가져오고이 로그는 dataflow-harness-stdout 아래에 나타납니다. JVM이 충돌 할 경우 스택 덤프와 같은 Java 로거에 캡처되지 않을 수도있는 정보를 캡처하기 위해이 작업을 수행합니다.

dataflow-worker-starter은 java worker harness 시작과 관련된 메시지를 기록합니다. 시작 프로세스는 기본적으로 GCS에서 작업 항아리를 다운로드 한 다음 Java 작업자 장치를 시작하는 것으로 구성됩니다. 그래서 java worker harness를 시작하는데 문제가 있다면 이것은 좋은 곳이다.

마지막으로 셔플 아래에서 셔플 러의 로그를 찾을 수 있습니다.