zcx62634177

자세한 답변 감사합니다! 그럼 강의에서 사용한 spark.streaming.stopGracefullyOnShutdown 옵션은 rdd based 이기 때문에 strucutred streaming은 위 방법으로 적용한다고 이해하면 될까요? 아래 설명해주신 부분을 잘 이해못한 것 같은데, 조금 더 자세히 설명 주실 수 있을까요? spark에서 기록한 오프셋 정보와 실제 kafak 및 kinesis에 커밋한 오프셋 정보와 불일치할 것을 대비한게 맞을까요?&nbsp;<code>이게 잘 작동하지 않을 것을 대비해 Kafka나 Kinesis에서 오프셋을 항상 추적하고 한시간 전 정도 Rewind시켜서 다시 시작하시면 될 듯 합니다. 그리고 Lambda 아키텍쳐를 사용하셔서 항상 Day가 끝나면 배치로 다시 돌려서 다시 잡아주는 것도 좋은 방법</code> 감사합니다!

zcx62634177

投稿