Hadoop의 에이전트 프레임 워크

Question

Hadoop을 사용하는 간단한 에이전트 기반 프레임 워크를 작성하려고했습니다. 이것은 내가 꽤 오랫동안 (지금까지 깊이 생각해 보지 않은) 다뤄 왔던 아이디어입니다.

대상 응용 프로그램은 유전 프로그래밍입니다. 아이디어는 많은 요원을 산란시키고, 과제를 수행하고, 유전 적 체력을 평가 한 다음, 그들을 번식시키고, 전체 운동을 반복하도록합니다.

사람들이 Hadoop을 사용하여이 작업을 수행하는 것에 대한 즉각적인 생각/비판을 갖고 있는지 알고 싶었습니다.

미리 감사드립니다.

Answer 1

나는 너가 hadoop 2.0의 YARN을 조사해야한다고 생각한다. MR 패러다임으로 제한하지 않고 임의의 논리를 실행할 수 있습니다

Answer 2

상담원이지도/축소 접근 방식에 실제로 어떻게 맞는지에 따라 다릅니다. 에이전트가 생성 한 결과가 감소 단계에서 소비되고 새로운 작업이 시작되면 Hadoop을 사용해도됩니다. Buf 당신 대리인이 서로의 결과에 의존한다면 - 폭풍 (https://github.com/nathanmarz/storm/wiki)