스파크 클러스터 란 무엇을 의미합니까?

저는 분석 용 강아지를 위해 파이썬을 사용하여 로컬 컴퓨터에서 스파크를 사용했습니다.스파크 클러스터 란 무엇을 의미합니까?

최근에 "스파크 클러스터"라는 단어를 들었는데 정확히 무엇인지 궁금해하고 있었습니까?

기계 클러스터에서 스파크가 작동합니까?

그리고 어떻게 Hadoop 시스템없이 클러스터에서 사용할 수 있습니까? 가능한가? 설명해 주시겠습니까?

2016-08-05 HalfPintBoy

기계 클러스터, 예. 나는 [문서] (https://spark.apache.org/docs/latest/cluster-overview.html)가 귀하의 질문에 답변 할 수 있다고 확신합니다. –

아파치 스파크는 분산 컴퓨팅 시스템입니다. 단일 시스템에서 실행될 수 있지만 클러스터에서 실행되고 클러스터를 사용하여 가능한 병렬 처리를 활용하기위한 것입니다. Spark은 HDFS 파일 시스템과 같은 Hadoop 스택을 많이 사용합니다. 그러나 Spark는 Hadoop 분산 컴퓨팅 체인과 상당히 겹칩니다. 지도 주변의 하둡 센터는 프로그래밍 패턴을 줄이는 반면 Spark는 프로그램 디자인과 관련하여 더 일반적입니다. 또한 Spark에는 성능 향상에 도움이되는 기능이 있습니다.

자세한 내용은 https://www.xplenty.com/blog/2014/11/apache-spark-vs-hadoop-mapreduce/

출처

2016-08-05 21:07:09

Spark이 Hadoop을 대체하지 않는다는 점을 분명히 밝힙니다. Hadoop 또는 Hadoop에서 작동 할 수 있습니다. –

수정을 위해 수정하겠습니다. 감사. –

스파크 클러스터 란 무엇을 의미합니까?

답변

관련 문제