스트리밍 window 관련 질문드립니다.

23.05.15 12:45 작성 조회수 205

spark streaming을 설명하시면서 광고로그를 join? 하는걸 예시로 들어주셨는데요, 노출이랑 클릭이랑 interval이 10분~30분 정도가 아니라 7일 이렇게 되는 경우에도 spark streaming으로 처리가 가능한가요?? 궁금합니다.

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

Streaming(스트리밍) 소개

강의실 바로가기

답변 1

답변을 작성해보세요.

미쿡엔지니어

2023.05.15

안녕하세요 뎁꼼님,

대부분의 경우 스트리밍은 리얼타임을 다루기 위해서 사용하지 일주일 간격의 lookback을 사용하지 않습니다. 그 경우에서 저장하시는 곳(e.g. S3, HDFS or GCS)등에서 오프라인으로 처리하시길 추천 드립니다.

도움이 되셨으면 좋겠네요.