요소가 워터 마크 조건을 위반하여 도착하면 이벤트는 어떻게 처리됩니까? 그것은 버려 졌습니까? 또는 이벤트가 늦은 이벤트로 다시 계산 된 과거의 윈도우 기능을 사용하여 여전히 다운 스트림으로 전파되고 있습니까?Apache Flink : 최근 이벤트는 어떻게 처리됩니까?
문서는 늦은 사건이 일어 났음을 인정하지만 처리 방법을 설명하지는 않습니다. https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/streaming/event_time.html
늦은 요소는 늦은 이벤트 만 포함하는 "싱글 톤"창으로 창 기능을 재평가함으로써 처리됩니다.
이후 버전의 Flink에서는 사용자가이 동작을보다 잘 제어 할 수 있습니다. FLINK-dev에 메일 링리스트에서이 스레드를 참조하십시오 : 기본적으로
http://mail-archives.apache.org/mod_mbox/flink-dev/201604.mbox/%[email protected].com%3E
가 늦게 요소 워터 마크가 윈도우의 끝을지나 때 삭제됩니다. 그러나 Flink는 창 조작자에게 허용되는 최대 지연 시간을 지정할 수 있습니다. 허용 된 지연 시간은 요소가 삭제되기 전에 지연 될 수있는 시간의 양을 지정하며, 기본값은 0입니다. 워터 마크 이후에 도착하는 요소는 창 끝을 지나가고 창 끝을 통과하기 전에 허용 된 지체, 여전히 창에 추가됩니다. 사용 된 트리거에 따라 늦게 있지만 드롭되지 않은 요소로 인해 창이 다시 시작될 수 있습니다. EventTimeTrigger의 경우입니다.
이 작업을 수행하기 위해 Flink는 허용 된 지체가 만료 될 때까지 창 상태를 유지합니다. 이 문제가 발생하면 Flink는 창을 제거하고 상태를 삭제합니다.
여기에서 수명주기를 확인할 수 있습니다. https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/windows.html#window-lifecycle