0
내 질문은 "스파크 RDD에서 합니까 내결함성이 자동으로 발생하거나 우리가 잃어버린 파티션에서 변환을 재생해야합니까?"스파크 RDD 내결함성
A
답변
0
스파크가 자동으로 잃어버린 파티션을 다시 계산합니다.
관련 문제
- 1. 는 RDD 스파크 스칼라
- 2. 스파크 RDD 데이터 선택
- 3. 는 스파크 RDD
- 4. 스파크 RDD 기능
- 5. 스파크 RDD 매핑 질문
- 6. 스파크. 배치로 분할 RDD
- 7. 스파크 RDD 파티션과 Hadoop 스플릿
- 8. 스파크 RDD 필터 내부 루프
- 9. 스파크 SQL에서 RDD API로 변환
- 10. 스파크 스트리밍 콘솔에서 RDD 출력
- 11. 스파크 및 스칼라에서 json으로 RDD
- 12. 나쁜 JSON에서 스파크 RDD 병합
- 13. 스파크 : 참조를 잃어버린 unpersist RDD
- 14. 스파크 스트리밍 빈 RDD 문제
- 15. 스파크 RDD any() 및 all() 메소드?
- 16. 스파크 목록은 모든 RDD 이름을 캐시
- 17. 3 개의 RDD 오브젝트를 결합한 스파크
- 18. 스파크 RDD 유니온에 대해 매우 느림
- 19. 여러 값을 반환하는 스파크 RDD 줄이기
- 20. 스파크 RDD : 여러 reducebykey 또는 한 번만
- 21. 스파크 필터와 카운트 큰 RDD 여러 번
- 22. rdd takeSample에서 스파크 작업이 무기한 중지됨
- 23. 스파크 : 트리 알고리즘에서 RDD 지속성 사용
- 24. 스파크 노드에서 지속되는 RDD 데이터 지우기
- 25. REST API에서 데이터 소스로 스파크 RDD 사용
- 26. 스파크 rdd 필드 값을 다른 값으로 대체하십시오.
- 27. 스파크 스트리밍 - Kafka- createStream - RDD - 데이터 프레임
- 28. 스칼라 스파크 필터 RDD using Cassandra
- 29. 스파크 RDD- 맵 대 맵 파트
- 30. OpenMPI 내결함성
감사합니다. Simon. 그러나 일부 블로그에서 RDD의 파티션을 잃어버린 경우 해당 파티션에서 변환을 재생해야한다고 읽었습니다. 그 맞습니까? –
노드가 8 개인 클러스터에서 코드를 실행할 때. 그러면 RDD가 배포됩니다. 이제 노드를 잃어 버릴 수도 있습니다. 해당 노드에서 RDD의 파티션이 손실됩니다. 개발자는이 사건을 처리 할 필요가 없습니다. Spark은 손실 된 파티션을 다른 노드에서 자동으로 재 계산 (재생)합니다. 그러나 입력 데이터는 모든 노드에서 사용 가능해야하며, hdfs에서 복제되거나 nfs를 사용하여 마스터 노드에서 사용 가능해야합니다. –