inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

kafka-consumer-groups.sh

Consumer Lag은 어느정도 수치면 정상적인 상황일까요?

433

목동 개발자

작성한 질문수 35

0

 안녕하세요, 강의 재밌게 듣고 있습니다

 

컨슈머 그룹편을 보다가 궁금해졌는데.. 실무하실때 Lag이 어느정도 쌓이면 장애상황이라고 생각하시나요?

kafka 데이터-엔지니어링

답변 1

2

데브원영 DVWY

안녕하세요~

컨슈머랙은 데이터 파이프라인에서 처리되는 데이터양에 따라 다릅니다. 예를 들어 10TPS(1초에 10개 이벤트)가 들어오는 파이프라인에서 컨슈머랙 100은 매우 큰 지연 수치입니다. 왜냐면 10초만큼 이벤트가 지연되었기 때문이죠. 반면 1억TPS에서 컨슈머랙 100은 매우 작은 지연 수치입니다.

위 예시와 같이 상황에 따라 데이터양에 따라 컨슈머랙의 적정 유지 수치를 지정하는 것이 중요합니다.

0

목동 개발자

예시가 와닿았습니다 감사합니다

consume 이후 lag가 줄어들지 않음

0

75

2

안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.

0

118

2

멱등성 프로듀서 retries 관련 질문입니다.

0

99

2

채팅 서비스 개발 시 주의점이 있을까요?

0

100

2

충분히 큰 파티션 생성시 궁금증이 존재합니다.

0

88

2

KTable 키가 없는 레코드 처리

0

73

2

컨슈머 테스트 코드 작성

0

94

2

리밸런스 onPartitionRevoked이 필요한 상황

0

74

2

카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의

0

120

2

reset offset 질문

0

77

2

KStreamJoinKTable 실행시 오류

0

78

2

auto.commit.interval.ms 옵션 관련 질문 드립니다.

0

142

2

파티션, 컨슈머 그룹, 컨슈머 관련 질문

0

117

1

java, kotlin

0

130

2

shutdownThread 에 대한 문의 입니다.

0

155

2

zookeeper실행시 오류가 발생합니다.

0

271

2

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

0

153

2

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

0

181

3

파티션 개수와 컨슈머 개수의 처리량 관련 질문

0

164

2

동영상 및 이미지 처리 관련 문의 드립니다.

0

226

2

주키퍼 없이 사용 문의 드립니다.

0

303

1

kafka 를 띄우니 오류가 발생하고 종료합니다.

0

281

3

zookeeper 실행시 오류 .. 무엇을 해야 할까요?

0

220

2

파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?

0

192

2