아파치는 자동 크기 조정 속성을 스파크 - 스파크 프로그램의 실행 동안 플라이

Question

에 근로자를 추가의 말을하자,

메모리에 데이터 10GB의 읽기, 단지 필터링,지도를하고, 다음 다른에 저장 저장.

로드에 따라 클러스터를 자동으로 스케일링 할 수 있습니까? 예를 들어이 프로그램이 궁극적으로 10GB 대신 1TB를 처리해야한다면 Worker Nodes를 프로그램에 추가 할 수 있습니까?

가능하다면 어떻게 할 수 있습니까?

Answer 1

dynamic allocation을 어느 정도 사용할 수 있지만 동작은 작업 대기 시간에 따라 다르며 특정 리소스를 직접 사용하지는 않습니다.

일반적으로 스파크는 메모리보다 큰 데이터를 처리 할 수 ​​있으며 메모리 문제는 대개 사용자 실수 나 잔인한 가비지 수집주기로 인해 발생한다는 것을 기억해야합니다. 이들 중 어느 것도 "더 많은 자원을 추가"함으로써 쉽게 해결 될 수 없습니다.