실행 프로그램 메모리를 스파크하는 데 크기 제한이 있는지 궁금합니까?스파크 실행 프로그램 최대 메모리 제한
등을 계산, 수집, 조합을하고 늠름한 작업을 실행하는 경우를 고려
그냥 컨텍스트의 비트,의 내가 이러한 리소스 (2 기계)
Cores: 40 cores, Total = 80 cores
Memory: 156G, Total = 312
이 무엇을 가정 해 봅시다 추천, 더 큰 대 작은 집행자 대?
스파크 개발 팀의 제안에 따르면 64GB가 넘는 실행자 (Databricks의 교육용 비디오에서 자주 언급 됨)가 없어야합니다. 아이디어는 더 큰 JVM이 더 큰 힙을 가지게되어 정말 느린 가비지 콜렉션 사이클을 초래할 수 있다는 것입니다.
나는 귀하의 집행자에게 32GB 또는 24GB 또는 16GB를 부여하는 것이 좋습니다. 따라서 하나의 큰 것 대신에 2-4 개의 작은 것을가집니다.
아마도 더 많은 조정 오버 헤드가있을 것입니다. 그러나 이것들은 대다수의 응용 프로그램에서 괜찮을 것이라고 생각합니다.
이 내용을 읽지 않은 경우 post으로 보내주십시오.