-
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
카프카 프로듀서, 컨슈퍼 속도
22.02.13 13:29 작성 조회수 265
0
안녕하세요! 여기에 질문을 올려도 괜찮을지.. ㅠ-ㅠ
궁금한게 있습니다.
프로듀서쪽에서 데이터를 무수히 많이 계속 계속
쉴틈없이 계속 토픽, 파티션에 넣어준다면
컨슈머입장에서는 좀 더 느리게 하나하나 읽어가서 가공을 한다고 생각해보면
계속 lag의 차이가 점점 엄청 커지고 딜레이가 넓어질텐데
이런 경우에는 어떻게 처리를 해야하는걸까요?
파티션을 늘려서 데이터를 좀 더 분산시키고 컨슈머 그룹에 컨슈머를 좀더 늘려서 좀 더 빠르게 처리르 해야하는걸까요?
답변을 작성해보세요.
답변 0