1
우리는 스파크 RDD가 스파크 셸을 사용하여 만들어진 독립 실행 형 2 노드 클러스터 인 Spark-1.1.0을 가지고 있습니다. RDD가 지속되었습니다 (MEMORY_ONLY). sc.getPersistentRDDs()를 사용하여 다른 Spark 셸에서이 RDD를 검색 할 수 없습니다. 내가 놓친 게 있니?지속 스파크 RDD는 다른 스파크 셸에서는 사용할 수 없습니다.
A
답변
2
RDD는 해당 RDD를 시작한 SparkContext 컨텍스트 내에서 유지되며 해당 RDD를 만든 Spark Context를 통해서만 액세스 할 수 있습니다.
즉, 두 번째 Spark-shell의 경우처럼 다른 SparkContext B에서 SparkContext로 만든 RDD에 액세스 할 수 없습니다.
관련 문제
- 1. 스파크 - 스파크 RDD는 논리적 인 명령어 모음입니다.
- 2. 스파크 메모리를 설정할 수 없습니다.
- 3. 스파크 1.6.2에서 스파크 2.0
- 4. 수 없습니다 내가 스파크 목록을
- 5. 스파크
- 6. 스파크
- 7. 프로그램에서 스파크 스트리밍 작업 지속 시간
- 8. 스파크 스트리밍에서 근로자에게 RDD를 만들 수 있습니까?
- 9. 한 스파크 설치에서 다른 스파크 설치로 스파크 모델을 이동하는 방법은 무엇입니까?
- 10. 스파크 : 스파크 처리를위한 생산 작업을 만드는 방법
- 11. RDD를 사용하는 스파크 스트리밍 컨텍스트
- 12. 스파크 하둡
- 13. S3에 스파크 SQL DataFrame을 쓸 수 없습니다
- 14. 스파크 배치
- 15. 스파크 - first()
- 16. 스파크 피닉스 데이터 프레임을 만들 수 없습니다.
- 17. 스파크 스트리밍은 : 분할을 계산할 수 없습니다, 블록
- 18. 클린 스파크 캐시 데이터
- 19. 다른 행동 내가 스파크 REPL을 통해이 코드를 실행하면 스파크 REPL 및 독립 스파크 프로그램
- 20. 스파크 조건
- 21. 스파크 DataFrame :
- 22. 오류 스파크
- 23. 플렉스 스파크
- 24. 오류 스파크
- 25. 지도 스파크
- 26. 스파크 :지도
- 27. 스파크 SQL은 자바
- 28. 스파크 java.util.logging.Logger
- 29. 아파치 스파크
- 30. 스파크 설치
감사합니다. 그렇다면 미래에 사용할 수 있도록 생성되고 지속되는 RDD를 공유 할 수있는 방법이 없다는 뜻입니까? 이것은 Spark의 반복 처리 원칙에 약간의 반증 인 것으로 보입니다. – smantripragada
반복 프로세스는 동일한 데이터 세트를 여러 번 거쳐야하는 알고리즘과 관련이 있으며, 매번 일부 계산을 수행하고 잠재적으로이를 변환합니다. '미래 사용'을 위해 계산 결과를 다시 사용하려는 경우 RDD를 디스크에 항상 저장할 수 있습니다. 또한 [Tachyon] (http://tachyon-project.org/)에서 메모리 내 대안을 찾아 볼 수 있습니다. – maasg
maasg, 고맙습니다. 나는 지속의 의미를 잘못 해석했다. – smantripragada