강의

멘토링

커뮤니티

Cộng đồng Hỏi & Đáp của Inflearn

Hình ảnh hồ sơ của catsbi
catsbi

câu hỏi đã được viết

[Lập trình ứng dụng Apache Kafka] Từ ý tưởng đến người tiêu dùng, nhà sản xuất, kết nối và truyền phát!

Phân đoạn và chu kỳ xóa (cleanup.policy)

min.cleanable.dirty.ratio 옵션에 대한 질문이 있습니다.

Viết

·

373

1

카프카 강의 세그먼트와 삭제주기챕터에서

min.cleanable.dirty.ratio 설정에 대한 내용을 듣던중 궁금한 점이 생겼습니다.

 

액티브 세그먼트가 용량이나 시간 정책에 따라 헤드 세그먼트가 되었을 때 테일 세그먼트와 비교해서 ratio가 충족되지 않았을 경우에는 compact가 이뤄지지 않는 것인가요?

 

만약 그렇게 된다면 이 헤드 세그먼트는 앞으로 계속 더티 레코드를 가지고 있는 상태가 유지가 되는 것인지, 이 헤드 세그먼트가 시간이 지나 테일 세그먼트가 되었을 때는 새로운 헤드 세그먼트와 비교를 하게 될텐데 클린 레코드가 아닌데 ratio가 의미없어지는게 아닌지 생각이 들더라구요.

 

이에 대해서 알려주시면 감사하겠습니다 :)

kafka데이터-엔지니어링cleanup.policy

Câu trả lời 2

3

catsbi님의 프로필 이미지
catsbi
Người đặt câu hỏi

자문자답합니다.

ratio 체크를 헤드세그먼트와 테일 세그먼트간에 하는게 아니라 세그먼트 내에서 레코드간에 클린 레코드와 더티 레코드간의 비율 체크하는 것이기에 다른 세그먼트를 신경 쓸 필요는 없겠군요.

2

dvwy님의 프로필 이미지
dvwy
Người chia sẻ kiến thức

자답하신바와 같이 액티브 세그먼트를 제외한 나머지 세그먼트에 존재하는 레코드들을 기준으로 처리가 됩니다

Hình ảnh hồ sơ của catsbi
catsbi

câu hỏi đã được viết

Đặt câu hỏi