2011-08-16 7 views
5

사람들은 어떻게 아마존에서 프로토 타이핑/배치하고 비용을 합리적으로 유지할 수 있습니까? 지난 달 우리는 특정 애플리케이션을 실험하고 자신의 hadoop 클러스터를 실행했으며 테스트를 위해 거의 1.5k를 소비했습니다. 물론 - 마이크로 인스턴스가 있지만 응용 프로그램이 너무 집중적 인 경우 실제로 테스트하기 위해 더 큰 인스턴스가 필요합니까? 그래서 나는 사람들이 이것을 어떻게하는 지에 대한 의견을 듣고 싶습니다.아마존 Ec2 프로토 타이핑

+0

하지만 HW를 프로비저닝하거나 지원하는 데 드는 비용은 얼마입니까? 그것이 15K +라면, 당신은 흥정을했습니다 ... – timday

답변

4

몇 가지 주요 문제 :

  1. 은 주어진 테스트가 정말 EC2를 필요로하는 경우 어떤 목적을 고려 &에 대한 로컬 테스트 베드를 생각해 보자. 2 ~ 4 대의 기계를 Hadoop의 테스트 베드로 사용하기가 어렵다면 다른 문제가 있습니다. Hadoop이 어떻게 역할을 할 것이며, 타이어를 걷어차는지, 무엇을 할지를 생각해보십시오. 시간이 지나면 그리드를 변경하고, 소프트웨어를 업그레이드하고, 다른 아이디어로 팅커 (tinker)를 바꾸고 싶을 것입니다. EC2로 가면 이미 거친 부분을 부드럽게 할 수 있습니다.
  2. 물건을 매달면서 필요한 용량보다 큰 용량의 컴퓨터를 사용하지 마십시오. 이 단계에서 많은 양의 데이터를 처리하거나 사이클을 처리하지 않으면 클러스터 계산 노드, 방대한 RAM 인스턴스 등을 신경 쓸 필요가 없습니다. 올바르게 설정하는 데 집중하십시오.
  3. 보다 강력한 기계로 재조정 할 준비가되면 몇 가지 다른 기계 설정을 시도해보십시오. 어쩌면 클러스터 컴퓨팅 인스턴스가 성과를 거둘 수 있습니다. 그런 종류의 처리량이 필요하지 않을 수도 있습니다. 병목 현상을 알기 전까지는 과다 지출하지 마십시오.
  4. 테스트 단계에서 자주 spot 인스턴스를 사용해야합니다. 일반적으로 주문형 가격의 약 50 %를 지불하게됩니다.
  5. 주문형 인스턴스에 대한 비용을 지불하려는 경우 클러스터 계산 인스턴스에 큰 클러스터가 모두 필요한 경우가 아니라면 별도의 인스턴스에서 필요에 따라 Hadoop 인스턴스를 시작하고 중지하십시오.
  6. 가능한 한 빨리 (1 분 미만) 시작할 수 있도록 AMI를 준비하고 필요하지 않으면 밤새 또는 주말에 실행되는 것을 남겨 두지 마십시오.

시스템이 설정되어 실행될 때까지는 기본적으로 수업료를 지불하여 필요에 맞게 모든 것을 얻는 방법을 배우게됩니다. 한 번에 모든 것을 택하지 말고 각 수업 (구성, 병목 현상, 크기 조정 등)을 배우려면 "수업료"를 지불하십시오. 당신이 배울 교훈의 시리즈로 접근하면 돈을 쓰는 것이 덜 고통 스럽지만, 당신이 무엇을 시험하고 배우고 있는지 아는 한, 당신은 또한 돈을 더 현명하게 소비 할 것입니다.

마지막으로 1500 달러를이 학습 경험의 인건비와 비교하십시오. 장기적으로 볼 때 큰 문제는 아닙니다. 일단 무언가가 계산 노력의 합리적인 블록이 될 것이라는 것을 알게되면, 그것은 잘 설계되어 있으며, (많은 기계 임에도 불구하고) 빨리 끝날 것이며, 돈을 쓰는 것은 그렇게 고통스럽지 않습니다. 지금 당장은 조직의 목표에 도움이되지 않기 때문에 배우는 내용을 이해하는 것이 어렵습니다.

+1

도와 줘서 기쁩니다. 그런데 추가 아이디어를 얻는다면 자유롭게 돌아와 공유 할 수 있습니다. 숫 사슴을위한 더 강타를 얻는 것은 저희의 나머지를 위해 귀중하다, 너무. :) – Iterator

0

스폿 인스턴스 사용을 고려하십시오. 당신이 과도하게 초과한다면, 당신은 거의 끝나지 않을 것이라고 확신 할 수 있습니다. 장기적으로는 예약 된 수준의 가격으로 가격이 책정되지만 선불로 지불 할 필요는 없습니다. 또한 피크 시간이 아닌 시간대에 대한 테스트를 예약하고 더 나은 가격에 도달하거나 현장 인스턴스 가격이 주문형을 초과 할 경우 주문형으로 전환 할 수 있다고 생각합니다. Hadoop은이를 능숙하게 처리해야합니다. this article about spot instances을 확인하십시오. 또한 지점 인스턴스의 잠재력을 분석하는 두 개의 다른 기사에 대한 참조를 포함합니다.

+0

비 피크 시간에 관한 좋은 제안. 스팟 인스턴스에 계절성 (예 : 최고/최고치) 추세가 있음을 알았습니까? 나는 언제나 같은 가격을 얻는 경향이 있지만 다른 인스턴스 유형에서는 다를 수 있습니다. – Iterator

2

Amazon Cloud를 사용하여 개념 증명을하는 동안 비용 문제를 해결할 수 있습니다.

Amazon AWS API를 사용하여 경량 Java 응용 프로그램을 만들었습니다.이 응용 프로그램에서 테스트를 실행할 때 아마존 클라우드 인스턴스를 만듭니다. 테스트가 끝나거나 시작에 실패하면 응용 프로그램은 진단 메일을 보내 즉시 인스턴스를 종료합니다.

그래서 amazon 인스턴스는 계속 실행 중이거나 이상적입니다. 수동 또는 별도의 프로그램을 통해 생성/종료하는 경우 발생할 수 있습니다.

관련 문제