Apache Flink의 분산 런타임에서 메모리를 어떻게 관리합니까?

Question

Java 8에서 Apache Flink 기반 데이터 스트림 처리 응용 프로그램을 빌드 중입니다. 소스 스트림을 통해 10 초마다 특성이 업데이트되는 개체의 전체 목록을 유지 관리해야합니다.

사양에 따라 가능한 경우 분산 저장 장치를 사용해야합니다. 그래서 제 질문은 플 링크의 메모리 관리자에 관한 것입니다. 클러스터 구성에서 작업 관리자가 사용하는 메모리를 복제합니까? 아니면 Flink와 함께 분산 메모리 내 솔루션을 사용할 수 있습니까?

Answer 1

Flink state을 살펴보십시오. 이 방법으로 체크 포인트/세이브 포인트 등의 내부 메커니즘과 통합되는 플 링크 상태로 저장할 수 있습니다.

다른 서비스에서 외부 쿼리해야하는 경우에는 queryable state을 추가하는 것이 좋습니다.