현재 GCP에서 데이터 흐름 작업을 실행하기 위해 Google의 Cloud Dataflow SDK (1.6.0)를 사용하고 있지만 Apache Beam SDK (0.1.0)로 옮길 계획입니다. 우리는 여전히 데이터 흐름 서비스를 사용하여 GCP에서 업무를 수행 할 것입니다. 이 전환 과정을 겪고 조언을 얻은 사람이 있습니까? 여기에 호환성 문제가 있습니까? GCP가 권장하는 이러한 움직임입니까?Cloud Dataflow에서 Beam SDK 사용하기
Formular Beam은 Dataflow에서 아직 지원되지 않습니다 (확실히 우리가 수행하고있는 작업 임에도 불구하고). 특히 SLA 또는 지원이 중요한 경우 Dataflow SDK를 사용하는 것이 좋습니다. 즉, 우리의 테스트에 따르면 Beam은 Dataflow를 기반으로 실행되며, 언제든지 중단 될 수 있지만 확실하게 자신의 위험을 시도 할 수 있습니다.
업데이트 : 데이터 흐름의 SDK는 이제 데이터 흐름 SDK 2.0 (https://cloud.google.com/dataflow/release-notes/release-notes-java-2)의 출시로 빔을 기반으로합니다. Beam과 Dataflow SDK는 현재 Cloud Dataflow에서 지원됩니다.
언제든지 변경 될 수 있습니다. – Narek
이것에 대한 어떤 업데이 트? –
Dataflow 2.0 SDK가 최근에 릴리스되었으며 Apache Beam을 기반으로하는 Dataflow Java SDK의 첫 번째 지원 버전입니다. 그것을 확인하십시오 : https://cloud.google.com/dataflow/release-notes/release-notes-java-2 –