체크 포인트 위치가없는 Spark Streaming 직접 접근

Question

Spark Streaming Direct 접근 방식을 사용하고 check point location을 지정하지 않고 오프셋을 저장할 위치와 방법은 무엇입니까?

체크 포인트 위치를 사용하거나 체크 포인트 위치를 지정하지 않고 실제로 다른 점이 있습니까?

체크 포인트 위치를 지정하지 않으면 데이터가 손실 될 수 있습니까?

Answer 1

체크 포인트를 지정하지 않으면 드라이버가 다운 된 경우 복구 할 수 없습니다. 또한 체크 포인트가 없기 때문에 Kafka 오프셋에는 검사 점이 지정되지 않으므로 직접 수동으로 저장해야합니다.

체크 포인트 위치를 사용하거나 체크 포인트 위치를 지정하지 않고 실제로 다른 점이 있습니까?

그 문장은별로 의미가 없습니다. 체크 포인트 디렉토리를 제공하지 않으면 체크 포인트 디렉토리가 존재하지 않을 것입니다. 정확하게 한 번 의미를 잡으려면 (필요한 경우) 수동으로 오프셋을 저장해야합니다.