스프링 배치 및 AMQP를 사용한 분산 배치 처리

큰 배치 처리를 배포하려고합니다. 아이디어는 스프링 배치를 사용하여 클라우드에서 AMQP 소비자의 무리를 태운 다음 값싼 작업 (항목 ID와 같은)을로드하여 AMQP 교환에 제출하는 것입니다. 결과를 작성하는 것은 소비자 스스로 수행됩니다.스프링 배치 및 AMQP를 사용한 분산 배치 처리

이것을 수행 할 수있는 기성 라이브러리가 있습니까?

몇 가지 생각 :

스프링 배치가 완전히 협상이다.
배치 크기는 수백만입니다. 나는이 모든 ID를 한꺼번에 제출했지만 무언가를 사용하는 대신 무언가를 사용하여 메시지 브로커를 죽이고 싶지 않습니다.
프로세스를 모니터링 할 수 있도록 처리 된 항목에 대해 알고 싶습니다. 따라서 일괄 처리 프로세스는 소비자로부터 응답을 받아야합니다.

출처

2014-04-12 Philipp Jardas

예, spring-batch-integration 프로젝트를 참조하십시오. Spring Batch와 Spring Integration을 결합하여 원하는 것을 수행합니다.

배치 2.2.x의 경우, 이는 spring-batch-admin 배포판의 일부입니다. 다가오는 배치 3.0.0 릴리스에서 적절한 배치로 이동했습니다.

원격 파티션 분할은 파티션에 대한 메타 데이터를 보내고 작업자는 실제로 데이터를 가져옵니다.

이 코드는 JMS example과 함께 제공되지만 스프링 통합 amqp 게이트웨이 용으로 스프링 통합 JMS 게이트웨이를 스왑하는 것은 어렵지 않습니다.

또한 데이터가 파티션 메타 데이터 대신 전송을 통해 전송되는 원격 청킹 버전이 있습니다.

출처

2014-04-12 20:17:20

감사합니다. 정확하게 내가 찾고있는 것이 었습니다. –

나는 simiar 것을하려고 노력하고있다, 당신은 제발 가이드를 기쁘게 할 수있다 http://stackoverflow.com/questions/23110211/can-we-use-amqpitemreader-and-amqpitermwriter-for-request-reply-use-case-in-spri ? – vishal

스프링 배치 및 AMQP를 사용한 분산 배치 처리

답변

관련 문제