사람들은 어떻게 아마존에서 프로토 타이핑/배치하고 비용을 합리적으로 유지할 수 있습니까? 지난 달 우리는 특정 애플리케이션을 실험하고 자신의 hadoop 클러스터를 실행했으며 테스트를 위해 거의 1.5k를 소비했습니다. 물론 - 마이크로 인스턴스가 있지만 응용 프로그램이 너무 집중적 인 경우 실제로 테스트하기 위해 더 큰 인스턴스가 필요합니까? 그래서 나는 사람들이 이것을 어떻게하는 지에 대한 의견을 듣고 싶습니다.아마존 Ec2 프로토 타이핑
답변
몇 가지 주요 문제 :
- 은 주어진 테스트가 정말 EC2를 필요로하는 경우 어떤 목적을 고려 &에 대한 로컬 테스트 베드를 생각해 보자. 2 ~ 4 대의 기계를 Hadoop의 테스트 베드로 사용하기가 어렵다면 다른 문제가 있습니다. Hadoop이 어떻게 역할을 할 것이며, 타이어를 걷어차는지, 무엇을 할지를 생각해보십시오. 시간이 지나면 그리드를 변경하고, 소프트웨어를 업그레이드하고, 다른 아이디어로 팅커 (tinker)를 바꾸고 싶을 것입니다. EC2로 가면 이미 거친 부분을 부드럽게 할 수 있습니다.
- 물건을 매달면서 필요한 용량보다 큰 용량의 컴퓨터를 사용하지 마십시오. 이 단계에서 많은 양의 데이터를 처리하거나 사이클을 처리하지 않으면 클러스터 계산 노드, 방대한 RAM 인스턴스 등을 신경 쓸 필요가 없습니다. 올바르게 설정하는 데 집중하십시오.
- 보다 강력한 기계로 재조정 할 준비가되면 몇 가지 다른 기계 설정을 시도해보십시오. 어쩌면 클러스터 컴퓨팅 인스턴스가 성과를 거둘 수 있습니다. 그런 종류의 처리량이 필요하지 않을 수도 있습니다. 병목 현상을 알기 전까지는 과다 지출하지 마십시오.
- 테스트 단계에서 자주 spot 인스턴스를 사용해야합니다. 일반적으로 주문형 가격의 약 50 %를 지불하게됩니다.
- 주문형 인스턴스에 대한 비용을 지불하려는 경우 클러스터 계산 인스턴스에 큰 클러스터가 모두 필요한 경우가 아니라면 별도의 인스턴스에서 필요에 따라 Hadoop 인스턴스를 시작하고 중지하십시오.
- 가능한 한 빨리 (1 분 미만) 시작할 수 있도록 AMI를 준비하고 필요하지 않으면 밤새 또는 주말에 실행되는 것을 남겨 두지 마십시오.
시스템이 설정되어 실행될 때까지는 기본적으로 수업료를 지불하여 필요에 맞게 모든 것을 얻는 방법을 배우게됩니다. 한 번에 모든 것을 택하지 말고 각 수업 (구성, 병목 현상, 크기 조정 등)을 배우려면 "수업료"를 지불하십시오. 당신이 배울 교훈의 시리즈로 접근하면 돈을 쓰는 것이 덜 고통 스럽지만, 당신이 무엇을 시험하고 배우고 있는지 아는 한, 당신은 또한 돈을 더 현명하게 소비 할 것입니다.
마지막으로 1500 달러를이 학습 경험의 인건비와 비교하십시오. 장기적으로 볼 때 큰 문제는 아닙니다. 일단 무언가가 계산 노력의 합리적인 블록이 될 것이라는 것을 알게되면, 그것은 잘 설계되어 있으며, (많은 기계 임에도 불구하고) 빨리 끝날 것이며, 돈을 쓰는 것은 그렇게 고통스럽지 않습니다. 지금 당장은 조직의 목표에 도움이되지 않기 때문에 배우는 내용을 이해하는 것이 어렵습니다.
도와 줘서 기쁩니다. 그런데 추가 아이디어를 얻는다면 자유롭게 돌아와 공유 할 수 있습니다. 숫 사슴을위한 더 강타를 얻는 것은 저희의 나머지를 위해 귀중하다, 너무. :) – Iterator
스폿 인스턴스 사용을 고려하십시오. 당신이 과도하게 초과한다면, 당신은 거의 끝나지 않을 것이라고 확신 할 수 있습니다. 장기적으로는 예약 된 수준의 가격으로 가격이 책정되지만 선불로 지불 할 필요는 없습니다. 또한 피크 시간이 아닌 시간대에 대한 테스트를 예약하고 더 나은 가격에 도달하거나 현장 인스턴스 가격이 주문형을 초과 할 경우 주문형으로 전환 할 수 있다고 생각합니다. Hadoop은이를 능숙하게 처리해야합니다. this article about spot instances을 확인하십시오. 또한 지점 인스턴스의 잠재력을 분석하는 두 개의 다른 기사에 대한 참조를 포함합니다.
비 피크 시간에 관한 좋은 제안. 스팟 인스턴스에 계절성 (예 : 최고/최고치) 추세가 있음을 알았습니까? 나는 언제나 같은 가격을 얻는 경향이 있지만 다른 인스턴스 유형에서는 다를 수 있습니다. – Iterator
Amazon Cloud를 사용하여 개념 증명을하는 동안 비용 문제를 해결할 수 있습니다.
Amazon AWS API를 사용하여 경량 Java 응용 프로그램을 만들었습니다.이 응용 프로그램에서 테스트를 실행할 때 아마존 클라우드 인스턴스를 만듭니다. 테스트가 끝나거나 시작에 실패하면 응용 프로그램은 진단 메일을 보내 즉시 인스턴스를 종료합니다.
그래서 amazon 인스턴스는 계속 실행 중이거나 이상적입니다. 수동 또는 별도의 프로그램을 통해 생성/종료하는 경우 발생할 수 있습니다.
- 1. 아마존 EC2 개발 스택
- 2. WPF 빠른 프로토 타이핑.
- 3. SML의 프로토 타이핑 기능
- 4. 플래시 프로토 타이핑?
- 5. 신속한 프로토 타이핑 Twitter 어플리케이션?
- 6. 자바에서 함수 지정으로 프로토 타이핑
- 7. 아마존 인스턴스 EC2 연결 시간 제한
- 8. 아마존 웹 서비스 S3 및 EC2
- 9. 초보 VPS 및/또는 아마존 ec2 질문
- 10. 아마존 EC2 프라이빗 DNS를 경청하는 아파치 설정
- 11. 아마존 EC2 계산 단위에 관한 질문
- 12. 아마존 EC2 + 다중 환경 (DEV, QA, PROD)
- 13. 아마존 웹 서비스와 우분투 10.04 EC2 인스턴스를
- 14. JavaScript 기본 유형의 프로토 타이핑, 권장하지 않습니까?
- 15. 플렉스를 사용하는 iPad 응용 프로그램 프로토 타이핑
- 16. Ipad GUI Windows에서 실행되는 프로토 타이핑 도구
- 17. 파이어 폭스의 셀레늄 Xpath 경로 프로토 타이핑
- 18. 아마존 EC2- 사용자 데이터 (또는 내가 파일을 사용하여 상자에 API 도구를 통해 그것을 할 경우에도), 내가 붙여 아마존 EC2 콘솔에서
- 19. 로컬 컴퓨터에서 아마존 ec2 인스턴스로 war 파일을 복사해야합니다.
- 20. 아마존 ec2 인스턴스에서 외부 호스트의 mysql 서버에 연결할 수 없습니다.
- 21. 아마존 ec2 작은 인스턴스에서 iis/sql 서버가 가능합니까?
- 22. 리눅스 인스턴스에 C# 응용 프로그램을 배포 아마존 ec2
- 23. 신속한 프로토 타이핑 및 비즈니스 응용 프로그램 개발
- 24. 아마존 EC2와 S3
- 25. 프로토 타이핑 된 "클래스"내에서 프로토 타입 함수를 호출하는 방법은 무엇입니까?
- 26. EC2 인스턴스 싶습니다 스케줄러
- 27. 플래시 프로토 타이핑은 GUI 프로토 타이핑에 적합합니까?
- 28. amazon EC2 + EBS를 보호하는 단계
- 29. EC2 인증서 생성 방법
- 30. 아마존 SQS
하지만 HW를 프로비저닝하거나 지원하는 데 드는 비용은 얼마입니까? 그것이 15K +라면, 당신은 흥정을했습니다 ... – timday