0
스트리밍 데이터 흐름 파이프 라인에서 memcache에 쓸 수 있습니까? 또는 pubsub에 쓰고 다른 계산 엔진이나 앱 엔진을 만들어야합니까?스트리밍 데이터 흐름 파이프 라인에서 memcache에 쓰기
A
답변
0
도움이 될 것입니다. 배치 쓰기가 필요한 경우 몇 가지 트릭을 수행 할 수 있습니다. 예를 들면 다음과 같습니다. link
1
예, 데이터 흐름 작업자는 필요한 외부 서비스와 통신 할 수 있습니다. 그들은 특별한 제약이나 허가없이 VM 일뿐입니다. 방금에서 Memcache하는 데이터를 작성하는 경우
는 Sink API 가능성이 내가 레디 스 클라이언트와 DoFn를 만든 레디 스에 대한
+0
감사합니다. 인증 방법을 보여주는 싱크 콜의 예를 들어 줄 수 있습니까? –
+0
유스 케이스로 들어가면 Sink API를 사용하여 구현하는 방법을 보여줄 수 있습니다. 인증과 관련하여 Google 제공 서비스와 통신하려면 options.getGcpCredential()의 자격증 명을 사용할 수 있습니다. – danielm
+0
데이터 흐름 맞춤 싱크 페이지에서 바운드 데이터 만 쓸 수 있다고하지만 스트리밍에서해야합니다 확장 가능한 API를 사용하여 바운드 (일괄 처리) 또는 제한되지 않은 (스트리밍) 데이터를 읽는 사용자 지정 원본을 만들고 제한된 데이터 만 기록하는 싱크를 만들 수 있습니다. " –
관련 문제
- 1. SourceOperationExecutor.isSplitOperationTooLargeForDataflowService의 데이터 흐름 파이프 라인에서 NPE
- 2. 필터링 제한된 데이터 내 흐름 파이프 라인에서 타임 스탬프
- 3. 데이터 파이프 라인에서 SqlReaderQuery 사용
- 4. 파이프 라인에서 데이터를 사용하십시오.
- 5. 파이프 라인에서 오류 처리
- 6. 데이터 흐름 파이프 라인이 메모리를 유지합니다.
- 7. 데이터 흐름 작업 : 함수 결합
- 8. Scikit 파이프 라인에서 partial_fit 사용
- 9. Lightswitch - 저장 파이프 라인에서 교착 상태가 발생했습니다.
- 10. Python 데이터 파이프 라인 및 스트리밍
- 11. grep 및 파이프 라인에서 찾으십시오.
- 12. OpenGL 파이프 라인에서 클리핑 공간
- 13. 자산 파이프 라인에서 자산으로 액세스
- 14. 젠킨스 파이프 라인에서 스크립트 실행
- 15. 파이프 라인에서 모자 가져 오기
- 16. 자산 파이프 라인에서 트리 필요
- 17. 파이프 라인에서 스파이더로 객체를 옮기기
- 18. 거미를 파이프 라인에서 멈추는 방법?
- 19. Enfinity의 파이프 라인에서 AJAX 요청하기
- 20. Jenkinsfile 파이프 라인에서 JIRA 액세스
- 21. 파이프 라인에서 s3 파일 삭제 AWS
- 22. Apache에서 비디오 스트리밍 흐름 제어
- 23. 높은 처리량으로 HDFS에서 스트리밍 데이터 쓰기
- 24. TPL 데이터 흐름 블록 UI 스레드에서 실행
- 25. 읽기 (당기기) vs 파이프 (제어 흐름) vs 데이터 (푸시)
- 26. 기존 데이터 흐름 파이프 라인 옵션의 기본값을 재정의하는 방법
- 27. PowerShell - 파이프 라인에서 파이프 라인을 사용한 가변 배열 필터링
- 28. 중첩 파이프 라인에서 상위 수준 $ _ 파이프 라인 변수에 어떻게 액세스합니까?
- 29. 젠킨스에서 하나의 파이프 라인에서 다른 파이프 라인으로 출력을 전달하는 방법
- 30. WCF 명명 된 파이프 스트리밍
고마워, 나는 지금도 redis로 전환했습니다. 배치 쓰기가 아니었지만이 링크는 통찰력이 있습니다. –