-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
컨슈머 랙 모니터링 질문
23.11.20 22:37 작성 조회수 175
0
안녕하세요. 강의 잘 듣고 있습니다!
컨슈머 랙 모니터링 부분 강의를 듣고 있는데 의문이 생겨서 질문 드립니다.
컨슈머 랙을 모니터링하다가 사용량이 많아지게 되면 데이터 처리를 위해 컨슈머 개수와 파티션 개수를 늘려 병렬 처리량을 늘리는 방법이 좋다라고 말씀 하셨는데요.
이전 강의에서는 파티션 수를 늘리면 다시 줄일 수 없기 때문에 처음에 잘 선정해야 한다라고 들어서 이 부분이 약간 헷갈리는 거 같습니다.
많은 데이터량을 처리하려면 파티션 수를 늘리는 방법말고는 없을 거 같은데 설날같이 일시적인 트래픽이 증가하는 날을 위해 평소에도 과도한 파티션 수로 운영하는게 더 좋을까라는 의문도 같이 생기네요.
혹시 현업에서는 어떠한 방식으로 처리하고 있으신가요?
좋은 강의 감사합니다.
답변을 작성해보세요.
0
데브원영 DVWY
지식공유자2023.11.26
일시적으로 어쩔수 없는 상황에 파티션 수를 늘린 경우도 있고, 말씀대로 다시 파티션 개수를 줄여야하는 상황으로 인해 불가피하게 토픽을 삭제하여 운영하는 경우도 있을 수 있습니다.
0
데브원영 DVWY
지식공유자2023.11.20
안녕하세요!
파티션 개수를 늘리면 줄일 수 없기 때문에 컨슈머 랙이 오른다고 해서 무조건 파티션 개수를 늘리지 않습니다. 이것은 상황에 따라 다른데요. 만약 조금이라도 지연이 발생하면 비즈니스 요구사항을 만족시키지 못하고, 서비스 운영에 차질 이 생긴다면 파티션 개수를 주저없이 늘리는 것이 좋습니다. 그러나 일부 지연이 발생하더라도 서비스 운영에 이슈가 없다면 파티션 개수를 굳이 늘리지 않는 선택을 하는 것이죠. 일시적인 트래픽 증가에는 파티션과 컨슈머 개수를 굳이 늘리지 않는 경우도 많습니다.
결국 현업에서 내가 운영하고 있는 데이터파이프라인의 데이터 품질 중요도와 관련있다 라고 말씀드릴 수 있습니다.
0
답변 3