파티션의 갯수를 줄이지 못하는 이유는 '데이터 손실' 때문인가요?
348
작성한 질문수 3
파티션의 갯수를 늘렸을때는 '파티션에 이미 존재하는 데이터의 손실'이 없습니다. 단순히 파티션의 갯수가 늘어남에따라, 저장되는 레코드의 위치가 달라지게 될것입니다.
파티션의 갯수를 줄였을때는 '새로 들어가는 레코드는 문제가없지만, 삭제되는 파티션에 존재하는 데이터는 손실' 되기 때문에 InvalidPartitionsException 에러가 발생하는게 맞나요 ?
2.5.0 버전 이상부터는 UniformStickyPartitioner이 기본파티셔너로 설정된다는데, 혹시 이 부분도 연관이되어있나요 ??
답변 1
1
파티션 개수를 줄이지 못하는 이유는 카프카를 이루는 여러 설계 요인들이 복합적으로 적용되기 때문입니다. 그중 하나는 다수 브로커에 분배되어 있는 세그먼트를 다시 재배열하는 것에 상당한 리소스가 들어가는 것이라고 말씀드릴 수 있습니다. KIP-694(https://cwiki.apache.org/confluence/display/KAFKA/KIP-694%3A+Support+Reducing+Partitions+for+Topics)에서 파티션 개수를 줄이는 방안에 대해 논의했으나 더 이상 진행되고 있지는 않는점 참고부탁드립니다.
그리고 UniformStickyPartitioner와 파티션 개수 감소와는 관련이 없습니다.
카프카 ISR 개념 부분 질문
0
480
1
카프카 커넥터를 두가지 사용하는 이유
0
899
1
브로커, 토픽, 파티션관계
0
677
1
커넥트(소스), 커넥트(싱크)
1
533
1
카프카 isr 질문 있어요
0
327
1
파티션 질문 있어요
0
387
1
명령어 관련 문의드립니다.
0
424
2
토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.
0
424
2
레코드에 json 형태의 데이터 넣는법 질문
0
429
2
카프카 도커로 실행
1
439
1
CCDAK 질문입니다!
0
1347
1
스트림즈 조인에 관련해서 질문드립니다.
0
301
1
min.insync.replicas에서 설정값만큼의 브로커 다운시
0
254
1
브로커로 메시지를 보낼때 null값인 경우
0
462
1
zookeeper 실행시 에러
1
782
1
온프레미스 환경 설치에 대해 질문있습니다.
0
349
1
리밸런싱 시, 메시지 중복 처리 문제
0
1060
1
강사님, Idempotence / transaction의 차이가 궁금합니다.
0
369
1
브로커 장애 발생시 질문
0
331
1
에러 핸들링과 관련하여 질문 드립니다
0
310
1
토픽 생성시 파티션이 배치되는 방법
0
352
1
질문있습니다!
0
135
1
카프카 스트림즈 에러 핸들링 질문 드립니다
0
394
1
카프카 클러스터 질문이 있습니다.
0
178
1