CDH (cloudera)를 사용하면 어떤 이점이 있습니까?

우리가 Apache-Hadoop 또는 Apache-Spark ets 대신에 CDH (cloudera)를 사용하는 이유. 혼자서? 이점은 무엇입니까?CDH (cloudera)를 사용하면 어떤 이점이 있습니까?

데이터 분석에 Apache-Spark를 사용하려면 CDH 또는 Apache-Spark Framework를 단독으로 사용하는 것이 더 좋습니까?

감사합니다.

2015-01-26 Omid Ebrahimi

글쎄, CDH는 "하둡 배포판"입니다. 나에게 이것은 "Hadoop을 설치하는 간단한 방법"이며 관리를위한 멋진 웹 인터페이스를 갖추는 것입니다. 따라서 Hadoop의 대신 실제로 CDH 을 사용할 수 없습니다. (Linux 대신 Red Hat을 사용할 수없는 것처럼)

Spark는 Hadoop없이 독립 실행 형 클러스터로 실행할 수도 있습니다. 그러나 HDFS 리소스 지역 정보 및 YARN 예약을 사용할 수 없습니다.

Spark를 시작하려면 독립형 클러스터를 먼저 사용해보십시오. Hadoop은 시작하기에 꽤 힘듭니다. 그러나 처음부터 HDFS 기능이 필요하다면 어쨌든 Hadoop을 설치해야 할 것입니다.

출처

2015-01-26 09:05:42 tgpfeiffer

답변 해 주셔서 감사합니다. Spark을 시작하려면 먼저 독립 실행 형 클러스터를 사용해 보는 것이 좋습니다. Spark 자체가있는 CDH를 사용하지 않는 이유는 무엇입니까? –

CDH에서도 사용 가능한 두 가지 스파크, 독립 실행 형 버전 (Spark 데몬이 모든 노드에 방금 설치됨) 및 YARN 버전 (executor가 리소스 협상의 결과로 시작되는 버전)이 있습니다. 그렇지 않으면 혼자서 CDH를 설치하는 데 시간이 오래 걸리고 부분적으로 실망 스럽습니다. 따라서 부분적으로 만 관련된 기술로 시작할 때이 장애물을 피하려고하지는 않습니다. – tgpfeiffer

장기적인 관점에 따라 다릅니다. 당신이 불꽃에 머물러 있다면 - 또는 더 많은 생태계를 키우고 사용할 것입니다. – Janusz

CDH (cloudera)를 사용하면 어떤 이점이 있습니까?

답변

관련 문제