전 ZooKeeper/Kafka를 사용 해본 적이 없으므로, 제가 잘못 말한 것이 있다면 수정 해주십시오.ECS + ZooKeeper/Kafka - 작동합니까?
AWS ECS를 사용하여 ZooKeeper/Kafka 클러스터를 확대/축소 할 수 있습니까? 나는 두 가지를 결합하는 많은 정보가없는 것 같아서 이것이 어떻게 행해지는지 잘 모르겠다. 그래서 내가해야 할 일이 아닌 것처럼 느껴지기 시작했다.
동물원 복제본을 클러스터에 자동 추가하는 방법은 SEEM이 아니며 Kafka (MirrorMaker를 사용하지 않는 경우)도 마찬가지입니다.
사육사는 shared config 위치를 사용하여, automatic instance management위한 Exhibitor 의해 관리 될 수있다. 이것을 Docker 이미지와 결합하여 Amazon S3을 백엔드 옵션으로 사용하면 좋을 것입니다.
각 노드마다 고유 한 broker.id이 필요하므로 Kafka은 조금 복잡합니다. 장애 및 노드 교체를 염두에두고 관리해야합니다. 또한 새로운 broker.id이 세트에 추가되거나 세트에서 제거되면 (즉, 스케일 아웃 또는 스케일 아웃) 토픽 파티션을 재조정해야합니다. 자동 조절 그룹의 broker.id 관리 주제에 대한 블로그 게시물 this을 적극 권장합니다. 모두 문제가 아마존 ECS 자체를 사용하지 않는, 자동 카프카 스케일링과 관련된
참고. 카프카 배포 도커 컨테이너 아마존 ECS에 상당히 제한이 있어야합니다.
MirrorMaker은 시나리오에 꼭 들어 맞을지 모르겠지만 이것은 단지 다른 소비자 일 뿐이며 클러스터 관리와는 아무런 관련이 없습니다.
기존/새로운 카프카 인스턴스는 모든 ZooKeepers 주소를 어떻게 알 수 있습니까? – Ben
@Ben : 이것을 구축 할 수있는 많은 옵션이 있으므로이 컨텍스트에서 ** 서비스 검색 **을 제안 할 것을 제안합니다. 우리는 현재 로컬 'haproxy' 인스턴스를 사용하고 있습니다. 그러나 일반 ELB도 생성 할 수 있습니다. –
로드 밸런싱 솔루션보다 haproxy가 아닌가? 카프카 (ZooKeeper 인스턴스를 추가/제거하면 동적으로 그러한 설정으로 다시 조정할 수 있도록)에 대한 동적 서비스 검색 솔루션을 더 원했습니다. – Ben