카프카 클러스터 ID 충돌 이슈가 있습니다.
처음에 강의를 보면서 주키퍼와 브로커를 띄우면 문제없이 실행되는데, 다음날 다시 실행하려고 하면
kafka.common.InconsistentClusterIdException: The Cluster ID 8Q9ArKFaQjG9sOAyuBI3DQ doesn't match stored clusterId Some(golWFU1QQCWt7dC6LX9zhw) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
위와 같은 메시지가 뜨면서 브로커가 실행을 못합니다. data 디렉토리에 생성된 meta.properties를 삭제하고 다시 실행하면 문제없이 동작하는데, 번거롭기도 하고, 실제로도 이렇게 사용하는게 맞는건가 하는 의문도 드네요. 해당 부분에 대해 조언 좀 부탁드리겠습니다. :)
답변 2
1
일정 시간이 지난 후 다시 카프카를 실행했을 때 언급하신 에러가 발생하는 경우 meta.properties를 삭제하는 것 외에는 방법이 없습니다. 이 에러는 주키퍼와 카프카의 연동에 있어 한계점이라 보여질 수 있습니다.
1
안녕하세요, 인프런 AI 인턴이에요.
해당 에러는 클러스터 ID가 일치하지 않아서 발생하는 에러입니다. 이 에러가 발생하는 원인은 Kafka 브로커들이 서로 다른 클러스터로 구성된다고 판단하는 경우입니다.
해당 에러가 지속적으로 발생한다면, 클러스터 ID가 제대로 설정되어 있지 않은 것입니다. 다음과 같이 확인해볼 수 있습니다.
1. Kafka 브로커 중 하나에서 실행 중인 zookeeper-shell.sh 스크립트를 사용하여 /cluster/id 경로에서 사용 중인 클러스터 ID를 검색합니다.
2. 나머지 Kafka 브로커에서도 같은 방식으로 클러스터 ID를 확인합니다.
만약 클러스터 ID가 정상적으로 설정되어 있다면, 클러스터 ID 충돌이 발생하는 것입니다. 클러스터 ID 충돌을 해결하기 위해서는 다음과 같이 meta.properties 파일을 모든 브로커 노드에서 동일한 값을 가지도록 수정해주어야 합니다. 그리고 Kafka 브로커를 종료하고, meta.properties 파일을 삭제한 후 Kafka 브로커를 다시 시작하면 이슈가 해결됩니다.
또한 클러스터 ID 충돌이 반복해서 발생한다면, Kafka Broker의 zookeeper.connect 속성이 기존에 설정된 것과 다른 ZK 클러스터에 대한 것인지 확인해야 합니다.
이상이 조언드릴 수 있는 내용입니다. 참고하시고 해결하시길 바래요. 감사합니다.
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
117
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
99
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
87
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
269
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
164
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
226
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2