사육사 예제 - 분산 된 수학 계산

Question

나는 사육사를 배우려고 노력하고 있지만 모든 자습서와 설명은 내게 너무 추상적이어서 내 인생에 어떻게 도움이되는지에 대한 명확한 견해가 있거나 " "그러나 아무도 실생활에서 직접 사용하지 않을 것이다.

나는 사육자가 "조정 도구", 주인, 작업자, 과제 할당 과제 및 실패 예방 직원이라는 것을 알고 있습니다. 그러나, 나는 매우 순진한 현실 세계의 문제를 가지고 있으며 사육사 자체가 그것을 해결하는 데 도움이 될지 궁금해합니다.

1000 
23213 
3231 
4213 
.. 

그리고 목표/출력이 해당 라인의 제곱에 포함 된 다른 파일을 마련하는 것입니다

나는 아래와 같은 숫자의 많은 많은 라인 큰 큰 파일을 말한다.

1000^2 
23213^2 
... 

는 사실은 내가 노동자의 요청에 따라 작업을 배포하는 파이썬 플라스크 서버를 사용하여 구현 된 실제 사용 사례를 가지고 있지만 너무 약해. 또한 나는 실패를 쉽게 추적 할 수 없다. 그리고 사육사가 해결책이 될지 궁금합니다.

모든 사육사 전문가가이 작업을 어쩌면 3 대의 컴퓨터에 배포 할 수있는 몇 가지 예제 코드를 작성할 수 있습니까? 그리고 결국 데이터를 다시 마스터로 보냅니다.

맵 축소 또는 멀티 스레딩을 사용하여 쉽게 만들 수 있다는 것을 완전히 이해하고 있지만 "사육사가 조정 도구입니다"라는 생각을 표시하기 위해 사육사를 사용하는 것이 가능할 것인지 궁금합니다.

Answer 1

Zookeeper를 사용하는 일반적인 방법 중 하나는 일시적인 노드를 잠금으로 사용하여 분산 작업 대기열을 만드는 것입니다.

근로자는 ZK 내부에서 목록을 탐색하고 임시 "잠금"노드를 만들려고합니다. 시도가 실패하면 다른 작업자가 노드를 잠 갔음을 의미합니다. 시도가 성공하면 작업자가 작업을 수행 할 수 있으며 (경우에 따라 수학 연산을 수행 할 수 있음) 새 노드를 작성하고 이전 노드를 삭제할 수 있습니다.

일시적인 잠금 장치는 작업자가 어떤 이유로 든 사망 한 경우 연결이 끊어지고 ZK가 잠금 장치가 자동으로 사라지는 것을 보증합니다.