Apache Spark writeAheadLogs를 비활성화 할 수 없습니다.

Question

spark.streaming.receiver.writeAheadLog.enable=false으로 설정하고 히스토리 서버가 속성이 설정되었음을 확인합니다. 그러나, 나는 계속해서 오류가 표시 :

16/11/28 15:47:04 ERROR util.FileBasedWriteAheadLog_ReceivedBlockTracker: Failed to write to write ahead log after 3 failures 

내가 HDFS는 WAL는 HDFS와 함께 작동하도록 지원을 활성화해야합니다 추가 스파크 사용자 스레드 Spark Streaming Data loss on failure to write BlockAdditionEvent failure to WAL에서 추측. 설치시이 HDFS 기능을 사용할 수 없으므로 Spark에서 WAL을 비활성화하고 싶습니다.

Answer 1

나는 당신이 당신의 코드에서이 같은 streamingContext 뭔가에 checkpointinig한다고 가정 : -

ssc.checkpoint(directory) 

불꽃 않는 검사 점의 두 가지 유형 : - 드라이버 오류를 복구 할 수

1. 메타 데이터 검사 점

2. 수신 된 데이터 검사 점

에만 spark.streaming.receiver.writeAheadLog.enable = 거짓

메타 데이터 검사 점을 사용하여 수신기 검사 점을 사용하지 않도록 설정하는가에 아직도있다. 그리고 체크 포인트에는 hdfs append 기능이 필요합니다.

당신은 HDFS가의 아래에 주어진 프로퍼티 설정하여 추가 할 수 있습니다 HDFS를-site.xml 파일 : -

dfs.support.append=true