가상 머신에서 스파크 스트리밍 실행

Xen 또는 KVM과 같은 가상화 환경에서 Spark 스트리밍 클러스터를 배포 할 때 성능 저하 또는 단점이 있습니까? 가장 큰 이유는 무엇입니까?가상 머신에서 스파크 스트리밍 실행

2015-02-04 Xingjun Wang

다른 가상화와 비슷합니다 ... VM은 기본 시스템보다 느립니다. 따라서 VM에서 실행되는 모든 항목은 Native에서 실행되는 것과 동일한 것보다 느립니다. –

관심을 가져 주셔서 감사합니다. 그러나 Spark Streaming 자체가 소유하고있는 기능이 성능 저하를 악화시킬 수 있는지 알고 싶습니다. –

가상화에 대한 일반적인주의 사항이 적용되지만 Spark 또는 Spark Streaming에만 적용되는 사항은 없습니다.

이 질문에 직접적으로 답할 기사는 없습니다. 그러나 Spark petasort 벤치 마크는 EC2에서 실행되었으며 기사는 성능에주의를 기울였습니다. https://databricks.com/blog/2014/10/10/spark-petabyte-sort.html

출처

2015-02-04 14:18:08

스파크에 어떤 특별한 영향이있을 것이라고 생각하십니까? 왜이 질문을하셨습니까? –

관심을 가져 주셔서 감사합니다. 나는 나의 질문을 명확하게 설명하지 않아서 미안하다. 사실, 가상화 된 환경에서의 클러스터 컴퓨팅은 동일한 위치에있는 VM과 경쟁하는 리소스와 같은 몇 가지 이유 때문에 성능 저하를 겪게 될 것입니다.이 질문을하는 목적은 Spark Streaming 자체의 내부 원인이 무엇인지 알고 싶습니다. RDD 파티셔닝, 작업 스케줄링 또는 다른 문제를 악화시키지 않으십니까? –

아니요, 그런 문제는 없습니다. 우리는 일상적으로 좋은 성능을 가진 Amazon EC2 VM 내에서 Spark 응용 프로그램을 실행합니다. –

가상 머신에서 스파크 스트리밍 실행

답변

관련 문제