인프런 커뮤니티 질문&답변
작성한 질문수
consumer 실행 오류 질문: connect ip 관련
작성
·
16
·
수정됨
0
안녕하세요
3주만에 카프카를 실행시키니 Consumer 실행에 문제가 있어 질문 남깁니다
디스코드에도 글을 남겼으니 편하신 곳으로 답변 부탁드립니다
1-1) poll consumer를 10분정도 실행시켰다가(잘돌아갔음) 종료후 다시한번 실행한 상황
1-2) poll consumer 실행하니까 반응이없음(python poll_consumer.py 입력하니 쉘 묵묵부답)
1-3) consume consumer는 실행이 잘됨
2)서버 껐다켜니 둘다 실행이 안됨
3) UI가 안켜져서 보안그룹 public-nat를 건드리고나니 comsumer 실행시 아래와 같은 현상 발생
<8월 31일>
%3|1756625877.560|FAIL|rdkafka#consumer-1| [thrd:kafka03:9092/bootstrap]: kafka03:9092/bootstrap: Connect to ipv4#172.31.58.18:9092 failed: Connection refused (after 1ms in state CONNECT)
%3|1756625878.559|FAIL|rdkafka#consumer-1| [thrd:kafka02:9092/bootstrap]: kafka02:9092/bootstrap: Connect to ipv4#172.31.39.189:9092 failed: Connection refused (after 1ms in state CONNECT)
<9월 2일>
%6|1756814397.408|FAIL|rdkafka#consumer-1| [thrd:kafka02:9092/bootstrap]: kafka02:9092/bootstrap: Disconnected while requesting ApiVersion: might be caused by incorrect security.protocol configuration (connecting to a SSL listener?) or broker version is < 0.10 (see api.version.request) (after 1248ms in state APIVERSION_QUERY)
모든 강의자료에 나오는 보안그룹 관련 설정을 최대한 따라하였으나 잘 진행이 되지않습니다
public-nat 보안규칙은 아래와 같습니다
..
답변 2
0
다라라람쥐님
오늘 시간이 너무 늦은듯하여 일단 여기에 확인해야 할 사항 남겨놓을께요.
우선 producer는 데이터를 잘 전송하고 있는지 확인 부탁드립니다. (CLI 명령으로 consume 해서 토픽에 데이터가 들어오고 있는지부터 확인)
지금 문제는 아마도 public-nat 설정과는 문제없을 가능성이 높습니다. consumer 프로그램은 broker 서버 내부에 있기 때문에 외부로 트래픽이 나가거나 들어오지 않아서 상관없을거에요.
로그처럼 브로커로 접속이 안된다고 뜨는 것은 브로커가 잘 떠있는지부터 살펴봐야 하는데 브로커 서버 3대에서 모두 아래 명령 확인 부탁드립니다.
ss -tlnp | grep LISTEN | grep 9092
9092 포트가 열려있는지로 확인해보는 과정입니다.
우선 여기까지 진행해보시고 남겨주세요!
0
안녕하세요, 인프런 AI 인턴입니다. 다라라람쥐님!
Kafka Consumer 실행 시 문제를 겪고 계신 듯합니다. 여러 가지 원인으로 인해 Kafka Consumer가 제대로 작동하지 않는 경우가 많으며, 대부분은 네트워크 및 설정 문제와 관련이 있습니다. 에러 메시지와 상황을 참고하여 해결책을 안내해드리겠습니다.
Connection refused: 이 에러는 Kafka 브로커에 대한 연결이 거절된 것을 의미합니다. 이는 주로 보안 그룹 설정, 방화벽 설정 또는 브로커가 실행되지 않는 경우 발생할 수 있습니다. 보안 그룹 설정이 올바르게 되어 있는지, 특히 Kafka 브로커의 포트(일반적으로 9092)가 열려 있는지 확인해야 합니다.
ApiVersion 문제: 이 메시지는 서로 다른 버전의 Kafka 클라이언트와 브로커 간의 충돌이 발생할 수 있음을 시사합니다. Kafka 버전이 호환되는지, 그리고
security.protocol설정이 정확한지 확인해 보세요. 만약 Kafka 클러스터가 SSL/TLS 설정을 사용한다면, 클라이언트도 이에 맞게 SSL 구성 파일이 필요합니다.브로커 및 서비스 확인: 브로커가 실제로 실행 중인지 확인하세요. 프로세스가 제대로 동작하고 있지 않으면 같은 네트워크에 있더라도 연결이 이루어지지 않게 됩니다. 또한, Zookeeper 서비스가 정상적으로 실행되고 있는지도 함께 확인해주세요.
보안 그룹 설정: 제공해 주신 이미지에 따르면 보안 그룹 설정이 잘못되어 있을 수 있습니다. Kafka 브로커 및 네트워크가 사용하는 포트가 적절하게 설정되어 있는지 확인해 보셔야 합니다. 모든 노드가 동일한 네트워크 내에서 통신할 수 있는지, 필요한 포트가 열려 있는지 확인이 필요합니다.
추가로, 디스코드를 통해서도 문의하신다고 하셨으니 해당 포럼에서도 지원 받는 것이 좋겠습니다. 커뮤니티에서 유사한 문제가 없는지도 함께 검색해 보시면 도움이 될 것입니다.
관련하여 유사한 문제에 대한 기존 질문과 답변을 확인해 보시면 도움이 될 수 있습니다:
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
안녕하세요 다라라람쥐님
확인이 늦었습니다. 양해 부탁드려요 ^-^
일단 여기서 확인은 어려울 것 같아서 디스코드방으로 대화 진행할께요!