kafka streams 데이터 보관 주기 질문

안녕하세요! 문의주신 내용에 대해 답변드립니다.

1) KTable로 상품 정보를 가지고 있을 때 스트림즈를 띄우는 서버의 메모리나 로컬 디스크에 모든 내용을 가지고 있는지?

맞습니다. 특정 토픽에 상품 정보를 담았고, 카프카 스트림즈를 통해 KTable로 해당 토픽을 가져올 경우 rocksdb를 통해 로컬 디스크(기본 설정)에 데이터를 가지고 있습니다.

2) 서버가 다운되었거나 리밸런싱 되었을 때 로컬 데이터의 복구 기능이 있는지?

KTable로 토픽을 선언할 경우 서버 재시작시, 리밸런싱 시 재할당된 해당 파티션에 대해 구체화된 뷰(materialized view) 형태로 데이터를 다시 구축합니다. 그러므로 리밸런싱 이후에 다시 데이터를 활용하실 수 있습니다.

3) 스트림을 거쳐간 모든 데이터를 가지고 있는지?

기본적으로 KTable은 offset을 항상 earliest로 가져와서 구체화된 뷰를 만들기 때문에 토픽에 존재하는 모든 데이터에 대해 존재한다고 볼 수 있습니다. 토픽 만료정책(compact or delete)에 의해 삭제된 데이터는 복구할 수 없습니다.

4) 대용량 데이터를 다룰 경우 로컬 머신의 저장 공간 고려해야하는지?

대용량 데이터를 다룰 경우 로컬 머신의 저장 공간 고려해야만 합니다.

5) 스트림즈를 통해 데이터가 없을 경우 RDB에서 가져와서 사용할 수 있는지?

말씀하신 로직을 개발하신다면 문제없이 사용하실 수 있습니다!