0
spark UI의 작업 탭을 보면 20/20/(4 failed)와 같은 작업 상태를 볼 수 있습니다.Spark Streaming failed executor tasks
실패한 작업에 데이터가 손실된다는 의미입니까? 실패한 태스크가 diff 실행 프로그램으로 이동하지 않았습니까?
A
답변
3
당신이 작업을 실패 조심해야하지만 (그들은 자주 기본 메모리 문제의 지표이다), 데이터 손실에 대해 걱정할 필요가 없습니다. 단계는 성공적으로 완료된 것으로 표시되었으므로 실패한 작업은 실제로 (결국) 성공적으로 처리되었습니다.
관련 문제
- 1. Spark Streaming Mysql
- 2. Hadoop streaming failed in R
- 3. Spark Streaming Kafka Consumer
- 4. Spark Streaming textFileStream 복사
- 5. Spark Streaming Flume Integration
- 6. KafkaUtils java.lang.NoClassDefFoundError Spark Streaming
- 7. Spark Streaming이 Executor Lost로 인해 언젠가 멈추었습니다
- 8. Hadoop Streaming Command Failed Job이 실패했습니다.
- 9. Kafka Streaming with apache spark
- 10. API 호출을위한 Spark Streaming 아키텍처
- 11. Spark Streaming 2.0 GC 오류 (Shuffle Issue)
- 12. Spark Streaming Stateful 네트워크 단어 수
- 13. 스파크 SQL (Spark Streaming)에서 실패했습니다 (KafkaStream)
- 14. Spark Streaming MQTT - 데이터 세트에 스키마 적용
- 15. Spark-Streaming & Cassandra (Scala)의 선물 사용
- 16. Spark Streaming groupByKey 및 updateStateByKey 구현
- 17. foreach 내부의 Spark Streaming 필터 조건 - NullPointerException
- 18. Spark Streaming 응용 프로그램을 정상적으로 중지하는 방법
- 19. Spark Streaming - 이진 데이터 파일 처리
- 20. Spark Streaming - updateStateByKey 및 캐싱 데이터
- 21. Spark Streaming - Iterator의 파티션에서 reduceByKey를 사용하는 방법
- 22. Spark Streaming 스케줄링 지연을위한 복구 기술
- 23. Spark Streaming 상태를 외부 DB에 저장
- 24. logstah vs spark streaming and storm
- 25. Spark Streaming : 스트림에 파이프 라인을로드하는 방법?
- 26. KafkaUtils API | 오프셋 관리 | Spark Streaming
- 27. Spark Streaming GroupBy 처리 할 튜플의 부분
- 28. 여러 rabbitmq 큐에서 병렬로 Spark Streaming 처리
- 29. Spark Streaming with HBase with filtering logic
- 30. Spark Streaming : StreamingContext가 데이터 파일을 읽지 않습니다.
감사합니다. – AKC
@AKC 일반적으로 실패한 작업은 걱정할 필요가 없지만 자주 실패하는 작업은 분명히 걱정해야합니다. 실패한 작업에 대한 스택 추적 및 오류 메시지를 추가 할 수 있습니까? –