Avro RPC/Storm 통합

Question

Avro RPC 서버에 데이터를 보내는 기존 Avro RPC 클라이언트가 있습니다. Avro RPC 서버는 현재 데이터를 HDFS에 씁니다 (다른 것들도 마찬가지입니다). 스톰을 기반으로 서버 프로세스를 변경하고 있습니다. 스톰에 내 데이터를 가져 오는 쉬운 방법을 찾고 싶습니다. 지금 내가 가진 Avro RPC 메시지를 사용하길 바랍니다.

나는 지금까지 아무런 성과없이 이것을하기위한 방법을 찾고 있었다. Storm은 RPC 모델을 가지고 있지만, 나는 피하고 싶은 문자열을 전달하는 것으로 제한되어있는 것처럼 보입니다. (왜 내가 Avro에 처음 갔는지). Zeromq는 가능성이있을 수 있지만 내가하려는 일에 제한이있는 것처럼 보입니다.

누구나 나를 Avro RPC (스키마 기반 데이터)를 Storm에 넣을 수있는 우아한 방법을 제안 할 수 있습니까 ??

감사합니다 !!!!

Answer 1

so ...이 작업을 직접 수행하는 방법을 찾지 못했지만 우리가 생각해 낸 해결책은 Avro RPC에 데이터를 요청하는 스톰 콜백 프로 시저였습니다. 기본적으로 클라이언트/서버 관계를 전환했습니다. 잘 작동하는 것 같습니다.