클린 스파크 캐시 데이터

Question

나는 캐시를() 및 ()가 내 응용 프로그램 곳곳에있는 DataFrame에 지속 사용. 그리고 내 프로그램이 끝날 때 점령 된 모든 메모리와 디스크를 비우기 위해 캐시 한 각 데이터 프레임에 대해 unpersist()을 호출해야하는지 알고 싶습니다. 스파크가 자동으로 그 직업을 청소합니까?
감사합니다.

Answer 1

일단 스파크 컨텍스트가 중지되면 메모리가 자동으로 해제됩니다. 컨텍스트를 중지하기 전에 메모리를 확보하려면이 경우 unpersist을 호출해야합니다.