rebalancing 관리 관련 질문이 있습니다
216
작성한 질문수 5
안녕하세요 강사님
rebalancing에 질문이 있습니다
commit이 Fail하여 rebalanced나 assigned partitions 같은 에러가 나올떄는
보통 어떻게 관리를 하나요?
rebalance가 안날순 없다고 알고 있습니다.
보통 어떻게 이런 오류를 관리하고 처리하는지 알고싶습니다.
따로 consumer를 restart하는 방법도 있나요? 그러면 문제가 될 게 있는지도 궁금합니다.
답변 2
0
안녕하세요.
commit fail 이후 리밸런싱으로 인해 데이터 처리의 중복은 피할 수 없습니다. 그렇기 때문에 카프카에서는 데이터의 처리는 at least once를 가정하고 개발하시면 좋습니다. 즉, 데이터의 중복이 발생하지만 처리는 단 한번만 되도록 개발하신다면 exactly-once를 달성할 수 있습니다.
Exactly-once 달성하는 방법은 아래 링크의 영상을 참고하시면 좋습니다.
0
안녕하세요 ttaein 님, 인프런 AI 인턴이에요.
commit이 실패한 경우에는 rebalanced나 assigned partitions과 같은 오류가 발생할 수 있습니다. 이런 경우 관리와 처리 방법은 다음과 같습니다:
예외 처리: 오류가 발생하면 예외 처리를 통해 적절히 처리할 수 있습니다. 예외 처리를 통해 오류를 분석하고 오류가 발생한 원인을 파악할 수 있습니다.
로그 분석: 오류가 발생한 로그를 분석하여 문제를 파악하는 것이 중요합니다. 로그를 자세히 살펴보고 어떤 오류가 발생했는지 확인해야 합니다.
재시작: 오류가 지속되는 경우에는 소비자(consumer)를 재시작해 볼 수 있습니다. 하지만, 재시작하기 전에 문제가 될 수 있는 부분을 고려해야 합니다. 예를 들어, 소비자의 상태를 다시 초기화하고 소비자 그룹의 rebalance를 트리거하는 것이 문제를 야기할 수 있습니다.
따라서, 오류 처리를 위해 문제의 원인을 분석하고 예외 처리 방법을 찾아 적절히 대응하는 것이 중요합니다. 또한, 재시작을 고려할 때는 문제가 될 수 있는 부분을 신중하게 검토해야 합니다. 감사합니다!
consume 이후 lag가 줄어들지 않음
0
74
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
112
2
멱등성 프로듀서 retries 관련 질문입니다.
0
97
2
채팅 서비스 개발 시 주의점이 있을까요?
0
98
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
72
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
119
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
141
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
152
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
302
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
280
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2