내 앱은 tesseract을 GNU parallel에 실행하는 bash 스크립트입니다. 처리해야하는 데이터는 50GB 조정입니다. VM을 하나만 사용하면 너무 느립니다. 클러스터 컴퓨팅의 힘이 필요하지만 여러 개의 VM을 직접 설정하고 싶지 않습니다. 대신 Google 클러스터에서 내 APP (데이터 파일과 함께)를 시작하고 싶습니다 (Kubernetes). 나는이 개념들에 대해 많은 명확성을 가지고 있지 않다. 누군가가 그것을 안내 할 수 있다면 좋을 것입니다.Cluster, Kubernetes, Docker. 내 앱에 대해 선택할 것은 무엇입니까?
이 유스 케이스를 염려 할 때 모든 컨테이너 오케스트레이션 세부 정보를 처음부터 배워야 할 수도 있습니다.
GNU Parrellel은 단일 시스템에서 사용하기에 적합하지만 분산 모드에서 클라우드에 사용하는 데 필요한 스타터 키트는 많지 않습니다.
K8S 클러스터를 구성하기보다는 google dataflow으로 생각합니다. 할당 및 정리가 쉽고 VM 관리 및 오케스트레이션 프레임 워크 학습을 피할 수 있습니다.
병렬에는 여러 대의 컴퓨터를 지원하는 기능이 내장되어 있습니다. 어떤 종류의 "시동기 킷"이 필요하다는 것을 의미하는지 모르겠습니다. * 그것이 가지고 있지 않은 것은 클라우드 노드를 프로비저닝하거나 클라우드/공급자 API에서 클라우드 노드를 발견 할 수있는 협업이다. (Parallel을지지하기 위해이 주석을 사용하지 마십시오. 직접 사용하지 않으며 다른 사람에게도 조언하지 않습니다. 그러나 위의 내용보다 더 유능합니다.) –
@CharlesDuffy 필자는 Parallel에 필요한 4-5 VM (더 필요할 수도 있음)의 SSH 로그인 설정 및 관리에 관여하고 싶지 않습니다. 제 생각에는 '컨테이너 (container)'아키텍처가 적당하다고 생각하지만 학습 곡선은 가파르게 보입니다. – Naveed
@navicore 당신은 내 고통을 올바르게 이해했습니다. Google 데이터 흐름을 살펴 보겠습니다. – Naveed
[질문하지 않는 질문은 무엇입니까?] (https://stackoverflow.com/help/dont-ask)를 참조하십시오. 모든 대답이 똑같이 유효한 질문; 질문은 개방적이다. "올바른 대답"을 선택하는 것은 객관적인 판단 기준이 아닌 객관적인 판단보다는 객관적이기 때문에 여기에서 환영받지 못하는 것들을 공유 경험을 불러 일으키는 질문들이다. 마찬가지로, 매우 광범위한 질문 (일반화 된 "지침"을 요구하는 질문은 물론 그러한 질문에 분명합니다). –
단일 하이 엔드 시스템은 어떻습니까? n1-highcpu-96, 96 cpus, ~ 90Gb 램, $ 3.4/h라고 말하십시오. 코드, 단일 코드 이미지, 단일 입력 데이터 r/o 이미지, 출력 데이터 볼륨은 변경되지 않습니다. –
@SeverinPappadeux 어느 회사에서 제공하고 있습니까? – Naveed