웹 콘텐츠 집계의 확장 성

Question

프로토 타입 작성 도구에 대한 간단한 아키텍처를 연습하려고합니다. 웹 기반 도구 (.NET 기반)는 기본적으로 여러 공용 API에서 데이터를 요청하고 응답 데이터 (JSON 또는 XML)를 대조 및 처리하고 집계 된 데이터를 데이터베이스에 저장합니다. 솔직하게 들리 겠지만 도구는 매일 약 3000 명의 사용자에게 매일 (하루에 한 번)이 프로세스 (요청/처리/저장)를 실행해야합니다. 예약 된 작업 (cron 작업)으로 프로세스를 주기적으로 실행하면 성능이 크게 저하되고 서버에서 리소스 사용이 증가합니다 (단일 VPS).

따라서 이러한 도구를 빠르고 확장 성 있고 간단하면서 쉽게 구현할 수있는 아키텍처 나 프레임 워크는 무엇이 있을까요?

모든 아이디어와 생각을 부탁드립니다.

건배.

Answer 1

cron을 실행하는 동안 리소스 사용량이 최대가되는 문제에 직면 한 경우 cron 대신 프로그램을 계속 실행하십시오. 지속적으로 실행될 수 있도록 프로그램을 중단하는 세부 사항은 세부 정보에 따라 다릅니다. 예 : 3000 명의 사용자가 있다고 가정 해 보겠습니다. 하나의 단순한 접근법은 28 초마다 한 사용자를 처리하는 것입니다.

빠르다 - 프로그램에서 느린 것이 정확히 무엇인지, 어떤 알고리즘을 사용했는지 언급하지 않았다. 질문은 당신이 첨두 부하의 문제에 부딪히는 것처럼 들렸다. 빠른 프로그램이 리소스 사용량이 가장 많이 발생하는 경우가 많습니다. 내게는 (의도적으로) 당신의 프로그램을 느리게 만들 수있는 것처럼 들린다. AND Slow는 프로그램을 비효율적으로 설계한다는 것을 의미하지 않습니다.

확장 성 - 기본 알고리즘이 좋다고 가정하면, 확장 가능한 한 가지 방법은 더 많은 기계를 추가하는 것입니다 !!