Google 데이터 흐름에서 Java APPLICATION 실행 프로필

Question

데이터 흐름 작업자에서 실행중인 Java 응용 프로그램을 프로파일 링하는 방법을 알고 있습니까? 내 응용 프로그램의 메모리 누수를 발견 할 수있는 도구를 알고 있습니까?

Answer 1

시간 프로파일 링의 경우이 issue 72에 설명 된 지침을 시도 할 수 있지만 작업자를 프로파일에서 분리하기 전에 작업자가 찢어 지거나 자동으로 축소되는 것이 어려울 수 있습니다. 불행히도 그것은 메모리 누출에 도움이되지 않도록 메모리 프로파일 링을 제공하지 않습니다.

컴퓨터에서 파이프 라인을 로컬로 실행하는 DirectPipelineRunner으로 실행할 수도 있습니다. 이렇게하면 데이터 흐름 작업자를 처리 할 필요없이 파이프 라인의 코드를 프로파일 링 할 수 있습니다. 파이프 라인의 규모에 따라 하나의 컴퓨터에서 처리 할 수있는 입력 크기로 조정해야 할 수 있습니다.

작업자에서 실행되는 코드 (예 : DoFn의 코드)와 파이프 라인의 구조 및 데이터를 구별하는 것이 도움이 될 수 있습니다. 예를 들어, 메모리 부족 문제는 단일 키와 관련된 값이 너무 많아서 목록으로 읽는 것으로 인해 GroupByKey이 발생하여 발생할 수 있습니다.