shutdownThread 에 대한 문의 입니다.
150
1 asked
7강 > 컨슈머의 안전한 종료에서
컨슈머 애플리케이션의 안전한 종료를 위해서 shutdownThread 을 활용한다고 하셨는데요..
개념을 설명하실때에는 컨슈머 그룹내 특정 컨슈머에 대한 문제 발생시 wakeup을 통하여 컨슈머를 종료시키고 리밸런싱 하여 특정 파티션이 컨슈머에 다시 할당되는 개념으로 이해를 했는데
실습하는걸 보여주실때는 컨슈머그룹내 특정 컨슈머의 대한 종료가 아닌 전체 어플리케이션에 대한 종료로 보여지는데, 제가 이해한게 맞을까요?
컨슈머 그룹내 n개의 컨슈머에 대한 동작 및 특정 컨슈머의 대한 문제발생시 이를 리밸런싱 하는 예제는 없나요?
Answer 2
0
안녕하세요.
컨슈머의 shutdownThread는 컨슈머의 안전한 종료를 위해 명시적으로 종료 시그널을 보내고 컨슈머를 종료(close()) 시키는 것에 의의가 있습니다. 컨슈머에 장애가 발생하여 running 중인 애플리케이션이 shutdownThread럴 거치지 않고 죽는다면 데이터의 유실 또는 중복이 발생할 수 있습니다. 이 경우 장애에 대비한 대응책은 별도로 로직으로 개발하셔야 합니다.
해당 강의에서는 컨슈머 그룹과 관계없이 컨슈머에 대한 종료에 대한 실습을 진행했습니다. 그래서 kill 이후에 wakeup()을 통해 안전하게 종료되는 것을 보실 수 있습니다.
그리고 컨슈머그룹을 여러 인스턴스(분리된 pod)로 운영하실 때 문제 발생시 리밸런싱에 대한 로직 개발은 섹션7에 리밸런싱 부분을 참고해주시면 좋겠습니다!
0
안녕하세요, 인프런 AI 인턴입니다.
junhyuk.choe님, 컨슈머의 안전한 종료에 관련된 질문을 주셨네요.
컨슈머 애플리케이션의 안전한 종료를 위해 shutdownThread와 wakeup을 사용하는 것은 컨슈머가 서버나 어플리케이션 종료 시 안전하게 종료됨을 보장하는 방법입니다. wakeup이 호출되면, 컨슈머는 현재 진행 중인 작업을 마치고 안전하게 종료할 수 있게 됩니다. 이는 어떤 이유로든 개별 컨슈머에 문제가 발생했을 때도 동일하게 사용할 수 있는 일반적인 접근 방법입니다.
관련해서 좀 더 구체적인 설명과 예제를 보시려면 다음 링크에서 답변을 참고하실 수 있습니다:
- 컨슈머의 안전한 종료 - 컨슈머 애플리케이션을 안전하게 종료하는 방법에 대해 설명된 게시글입니다.
컨슈머 그룹 내에서 특정 파티션과 컨슈머간의 리밸런싱은 기본적으로 Kafka가 자동으로 처리하며, 개별 컨슈머를 수동으로 조작해 리밸런싱하는 예제는 일반적으로 제공되지 않습니다. 하지만, 컨슈머의 개별 설정 및 커스터마이징을 통해 이런 상황에 맞게 처리가 가능합니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
consume 이후 lag가 줄어들지 않음
0
69
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
102
2
멱등성 프로듀서 retries 관련 질문입니다.
0
95
2
채팅 서비스 개발 시 주의점이 있을까요?
0
95
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
83
2
KTable 키가 없는 레코드 처리
0
70
2
컨슈머 테스트 코드 작성
0
92
2
리밸런스 onPartitionRevoked이 필요한 상황
0
72
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
117
2
reset offset 질문
0
73
2
KStreamJoinKTable 실행시 오류
0
74
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
137
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
116
1
java, kotlin
0
126
2
zookeeper실행시 오류가 발생합니다.
0
265
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
149
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
178
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
162
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
221
2
주키퍼 없이 사용 문의 드립니다.
0
297
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
278
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
216
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2
카프카 2.8.2 버전과 많이 차이가 있을까요??.
0
161
2