스파크 필요 HDFS

Question

안녕하세요 누구든지 나를 설명 할 수 아파치 '스파크 독립형'HDFS가 필요합니까?

Spark 응용 프로그램 실행 중에 Spark에서 HDFS 블록 크기를 사용하는 방법이 필요한 경우. Spark 어플리케이션 실행 중에 HDFS 역할이 무엇인지 이해하려고합니다.

Spark 설명서에 따르면 처리 병렬 처리는 RDD 파티션과 집행자/코어를 통해 제어됩니다.

아무도 이해할 수 있도록 도와주세요.

Answer 1

스파크는 HDFS를 사용하지 않고도 문제없이 작동 할 수 있으며 코어 실행에 반드시 필요한 것은 아닙니다.

일부 분산 저장 장치 (반드시 HDFS 일 필요는 없음)는 체크 포밍에 필요하며 결과를 저장하는 데 유용합니다.