0
다음을 가정합니다.스파크 변환 및 작업 태스크가 동일한 직렬화 된 코드 복사본에서 작동합니까?
rdd.mapPartition (func). 실행 프로그램 내부에서 태스크에 의해 실행되면 함수의 직렬화 된 사본 하나만 가져 오거나 각각의 태스크는 하나의 복사본을 얻게됩니까?
감사합니다.
A
답변
0
각 작업에는 하나의 복사본이 있습니다. 그러나, 나는이 코드에 의존하지 않는다.
관련 문제
- 1. 스파크 작업 직렬화 및 종료
- 2. 스파크 스트리밍 작업 및 변환
- 3. 스파크/자바 직렬화 문제 - org.apache.spark.SparkException : 작업 직렬화하지
- 4. 작업 복사본에서 podfile.lock이 누락되었습니다.
- 5. 동일한 Subversion 저장소의 작업 복사본에서 중첩 된 svn 작업 복사본을 사용하는 가장 좋은 방법은 무엇입니까?
- 6. 스파크 변환 및 정렬
- 7. 스파크 - 작업하지 직렬화 : java.io.NotSerializableException : java.lang.reflect.Field의
- 8. 직렬화 대 바이트 코드 변환
- 9. 스파크 직렬화 오류
- 10. 스파크 코어 및 작업 동시성
- 11. 작업 복사본에서 mdb를 여는 후
- 12. . 자바로 - 직렬화 된 XML 작동합니까?
- 13. 동일한 응용 프로그램에서 작업 (지도 기능) 내에서 스파크 작업 만들기
- 14. 스파크 스트리밍 직렬화 오류
- 15. 동일한 작업 흐름 오류로 Java 동작 및 스파크 동작이 발생합니다.
- 16. 스파크 실행자와 작업 동시성
- 17. 스파크 - 맵 변환
- 18. 이해 스파크 비동기 작업
- 19. 동일한 프로세스에서 java가 비 직렬화 및 직렬화
- 20. 작업 복사본에서 파일이 손실되었습니다. Xcode 8
- 21. TFS - 로컬 작업 복사본에서 분기 만들기
- 22. JGit은 작업 복사본에서 이름 바꾸기를 감지합니다.
- 23. 스파크 ML Word2Vec 직렬화 문제
- 24. 작업 복사본에서 삭제 된 모든 파일을 TFS에서 삭제하는 방법은 무엇입니까?
- 25. 스파크 : DAG 이해 및 변환 강제 적용
- 26. RDD에서 스파크 스칼라 직렬화 오류
- 27. Subversion의 혼합 수정본 작업 복사본에서 버그 찾기
- 28. svn : 로컬 작업 복사본에서 폴더를 만들고 제거하려고합니다.
- 29. 작업 복사본에서 분기하고 버전이없는 파일을 포함하십시오.
- 30. svn : 작업 복사본에서 외부를 제거 하시겠습니까?