Pyspark G1 Garabage Collector

Question

GC 수집기가 부족하다는 내 pyspark에 오류가 있습니다. G1 가비지 수집기에 대한 기사를 읽었으므로 사용해보고 싶습니다. pyspark 응용 프로그램에서 어떻게 설정합니까? 나는 그것에 대한 어떤 지시도 찾을 수 없었다 ..

고마워! 자바의 수는 이것은 시작이다 오브젝트에

Answer 1

여기서 기억해야 할 주요 포인트는 교장의 conf을 발견 스파크 see this과 see this하여 최적화하기 위해 ... 쓰레기 수집 의 비용이 비례한다는 것입니다 사용할 매개 변수.

나머지는 ...