컨슈머 랙 모니터링 질문
392
작성한 질문수 3
안녕하세요. 강의 잘 듣고 있습니다!
컨슈머 랙 모니터링 부분 강의를 듣고 있는데 의문이 생겨서 질문 드립니다.
컨슈머 랙을 모니터링하다가 사용량이 많아지게 되면 데이터 처리를 위해 컨슈머 개수와 파티션 개수를 늘려 병렬 처리량을 늘리는 방법이 좋다라고 말씀 하셨는데요.
이전 강의에서는 파티션 수를 늘리면 다시 줄일 수 없기 때문에 처음에 잘 선정해야 한다라고 들어서 이 부분이 약간 헷갈리는 거 같습니다.
많은 데이터량을 처리하려면 파티션 수를 늘리는 방법말고는 없을 거 같은데 설날같이 일시적인 트래픽이 증가하는 날을 위해 평소에도 과도한 파티션 수로 운영하는게 더 좋을까라는 의문도 같이 생기네요.
혹시 현업에서는 어떠한 방식으로 처리하고 있으신가요?
좋은 강의 감사합니다.
답변 3
0
추가적으로 궁금한 사항은 일시적으로 파티션 수를 늘렸다가 토픽을 삭제하고 다시 생성해 적은 파티션 수로 다시 운영했던 경우도 있으셨을까요??
0
일시적으로 어쩔수 없는 상황에 파티션 수를 늘린 경우도 있고, 말씀대로 다시 파티션 개수를 줄여야하는 상황으로 인해 불가피하게 토픽을 삭제하여 운영하는 경우도 있을 수 있습니다.
0
안녕하세요!
파티션 개수를 늘리면 줄일 수 없기 때문에 컨슈머 랙이 오른다고 해서 무조건 파티션 개수를 늘리지 않습니다. 이것은 상황에 따라 다른데요. 만약 조금이라도 지연이 발생하면 비즈니스 요구사항을 만족시키지 못하고, 서비스 운영에 차질 이 생긴다면 파티션 개수를 주저없이 늘리는 것이 좋습니다. 그러나 일부 지연이 발생하더라도 서비스 운영에 이슈가 없다면 파티션 개수를 굳이 늘리지 않는 선택을 하는 것이죠. 일시적인 트래픽 증가에는 파티션과 컨슈머 개수를 굳이 늘리지 않는 경우도 많습니다.
결국 현업에서 내가 운영하고 있는 데이터파이프라인의 데이터 품질 중요도와 관련있다 라고 말씀드릴 수 있습니다.
consume 이후 lag가 줄어들지 않음
0
74
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
112
2
멱등성 프로듀서 retries 관련 질문입니다.
0
97
2
채팅 서비스 개발 시 주의점이 있을까요?
0
98
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
72
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
119
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
141
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
153
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
152
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
302
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
280
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2