min.cleanable.dirty.ratio 옵션에 대한 질문이 있습니다.
380
16 asked
카프카 강의 세그먼트와 삭제주기챕터에서
min.cleanable.dirty.ratio 설정에 대한 내용을 듣던중 궁금한 점이 생겼습니다.
액티브 세그먼트가 용량이나 시간 정책에 따라 헤드 세그먼트가 되었을 때 테일 세그먼트와 비교해서 ratio가 충족되지 않았을 경우에는 compact가 이뤄지지 않는 것인가요?
만약 그렇게 된다면 이 헤드 세그먼트는 앞으로 계속 더티 레코드를 가지고 있는 상태가 유지가 되는 것인지, 이 헤드 세그먼트가 시간이 지나 테일 세그먼트가 되었을 때는 새로운 헤드 세그먼트와 비교를 하게 될텐데 클린 레코드가 아닌데 ratio가 의미없어지는게 아닌지 생각이 들더라구요.
이에 대해서 알려주시면 감사하겠습니다 :)
Answer 2
3
자문자답합니다.
ratio 체크를 헤드세그먼트와 테일 세그먼트간에 하는게 아니라 세그먼트 내에서 레코드간에 클린 레코드와 더티 레코드간의 비율 체크하는 것이기에 다른 세그먼트를 신경 쓸 필요는 없겠군요.
consume 이후 lag가 줄어들지 않음
0
65
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
93
2
멱등성 프로듀서 retries 관련 질문입니다.
0
93
2
채팅 서비스 개발 시 주의점이 있을까요?
0
94
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
81
2
KTable 키가 없는 레코드 처리
0
69
2
컨슈머 테스트 코드 작성
0
90
2
리밸런스 onPartitionRevoked이 필요한 상황
0
72
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
115
2
reset offset 질문
0
72
2
KStreamJoinKTable 실행시 오류
0
74
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
134
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
114
1
java, kotlin
0
126
2
shutdownThread 에 대한 문의 입니다.
0
149
2
zookeeper실행시 오류가 발생합니다.
0
264
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
149
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
178
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
160
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
219
2
주키퍼 없이 사용 문의 드립니다.
0
289
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
275
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
214
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
189
2