min.cleanable.dirty.ratio 옵션에 대한 질문이 있습니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
카프카 강의 세그먼트와 삭제주기챕터에서 min.cleanable.dirty.ratio 설정에 대한 내용을 듣던중 궁금한 점이 생겼습니다. 액티브 세그먼트가 용량이나 시간 정책에 따라 헤드 세그먼트가 되었을 때 테일 세그먼트와 비교해서 ratio가 충족되지 않았을 경우에는 compact가 이뤄지지 않는 것인가요? 만약 그렇게 된다면 이 헤드 세그먼트는 앞으로 계속 더티 레코드를 가지고 있는 상태가 유지가 되는 것인지, 이 헤드 세그먼트가 시간이 지나 테일 세그먼트가 되었을 때는 새로운 헤드 세그먼트와 비교를 하게 될텐데 클린 레코드가 아닌데 ratio가 의미없어지는게 아닌지 생각이 들더라구요. 이에 대해서 알려주시면 감사하겠습니다 :)
- kafka
- 데이터-엔지니어링
- cleanup.policy
이한솔
댓글 2
좋아요 1
조회수 401