개발자님 Zookeeper 관련 전문가의 견해가 궁금 합니다. Apache Kafka 에 Zookeeper 가 없이 설치 해서 사용 할 수 있는 것에 궁금한 것이 있습니다. 1. Zookeeper 설치 없이 사용 하는 것은 Apache Kafka 에 Zookeeper 가 하던 task를 Apache Kafka 가 처리 하게 개발 하는 걸까요? 분리된 작업을 합치면 성능적 효과가 있는 걸까요? 2. Zookeeper 설치 없이 사용 하는 Apache Kafka 를 하나의 PC에 docker container로 단일 브로커로 3개의 container을 만든다면, 실무에서 사용 사능 할까요? 3. 클러스터 환경에서 브로커를 두어 replication을 통해 가용성을 증가 시키는 것은 이해 했습니다. 혹 하나의 PC 에서 브로커를 여러개 두는 것은 가용성과는 크게 관련이 없는 것일까요? 4. PC 한대에서 여러개의 Topic 을 통해 message 를 분류 해서 받는 것과, PC 한대에서 브로커를 여러개 두어 message 를 분류 해서 받는 것의 성능 적 차이가 있을까요? ex) 하나의 브러커에 2개의 토픽, 1번 토픽은 이미지만 받고 2번 토픽은 동영상만 받고, 2개의 브로커에 각각 1나의 토픽으로 1번 브로커에 이미지만 받고, 2번 브로커에 동영상만 받고, 둘다 consumer 가 소비 하는 데이터는 동일 하다는 가정 입니다. 5 하나의 PC에 container 환경 구축 보다, 그냥 설치 해서 하는 방법이 좋다고 알고 있습니다. 또 성능이 좋아서 하나로도 충분 하다고 알고 있는데 맞는 걸까여? 성능을 측정 하는 것에 지식이 없어서 문의 드립니다.
안녕 하세요. 개발자님 궁금 한 것이 있어 문의 드립니다. 1. 1대의 PC 에서 docker container 환경에서 confluent kafka를 container 로 3개 를 뛰어서, 3 개의 Broker 환경을 만든다 가정 하고 --replication-factor=3 개로 설정 해서 사용 하는 방법에 대해서 어떤 생각을 가지고 있으신가요? 2. docker image confluent kafka 를 사용 하는 것은 기존 container 환경에서 하지 않는 방시과 성능적인 차이가 있을까요? 너무 궁금 합니다.
안녕하세요. 강의 잘 보고 있습니다. Gateway의 uri를 lb://MY_FIRST_SERVICE 로 수정했을 때 500 Internal Server Error가 났습니다. 처음에 Spring boot 버전에서 문제인가 싶어서 Spring boot 버전을 3.3.5 -> 3.2.0 으로 수정도 해보고 load-balancer도 추가해보고 했습니다. 결과적으로 lb://MY_FIRST_SERVICE 의 _(언더바)를 -하이픈으로 수정하니 정상 작동하는 것을 알았습니다. 그런데 여기서 이유를 GPT에게 물어본 결과 라는 답변을 받았습니다. 이러한 결과가 사실이 맞는지 궁금합니다. 구글링 해봤을 때 관련한 자료는 없어서 여쭤봅니다
안녕하세요 선생님. 질문이 있어 남깁니다. spring cloud gateway mvc모델에서 route별 httpclient의 readtimeout, connectiontimeout을 설정하는 방법이 있나요? reactive한 모델에서는 metadata를 이용하여 설정하는 것 같은데, documents를 아무리 뒤져도 mvc모델에서 전역적으로 타임아웃 설정하는 법만 있고, route별 설정하는 법이 없네요.. 어떻게 설정해야할까요?
안녕하세요 먼저 좋은 강의를 제공해주셔서 감사합니다. 바로 본론으로 들어가서, "카프카 기반 아키텍처" 섹션에서 스트림즈와 커넥트의 차이는 결국 Stateful 한 데이터에 대한 처리냐 아니냐 라고 말씀해주신거 같은데, 좀 더 구체적인 상황 사례가 있을까요? 스트림즈가 Stateful 한 데이터에 처리가 가능하다고 하는 것은 결국 스트림즈는 단일 파이프라인?, 단일 애플리케이션? 으로 구성되어야 한다는 의미일까요? (여러 파이프라인으로 분산 모드가 가능한 커넥트는 데이터 처리에 대해서 Stateful 할 수 없으니깐 말이죠)
안녕하세요 강사님 강의 잘 봤습니다. 덕분에 kafka와 redis를 어떤식으로 사용할 수 있는지 많은 걸 엿볼 수 있는 느낌이었습니다. 강의가 다 진행되고 난 후 궁금한 점이 하나 있습니다. 쿠폰 생성 에러 처리 관련되어서 질문이 있는데, 만약 메시지를 수신하는 쪽이 아니라 발송하는 쪽에서 문제가 생겼다면 어떻게 해야하나요? 예를들어 redis에서 increment로 수량에 대해서 가져왔지만, 만약 kafka에 메시지를 보내는 것이 실패 될 경우 reids에 있는 값을 다시 하나 줄여야할 것 같습니다. 이런 경우 try catch 블럭으로 처리를 하는 지? 아니면 다른 방식으로 예외처리 하는지 궁금합니다.
현재 JDBC Sink Connector 생성 실습중입니다. 실습환경과 버전차이가 있어서 그런건지 깃허브에 올려주신 config로 생성하는경우 mysql syntax에러가 발생하면서 오류발생으로 작동을 안합니다. 검색 결과 각 config에서 "table.name.format": "om_sink.테이블명"->"테이블명"만 작성해서 스키마 특정을 안하면 일단 동작은 하는걸 확인했습니다. 해당 사항으로 바뀌는 부분이 있을까요? 강의시작으로부터 2년이라는시간이 지나서 jdbc 커넥터에 변경사항이 발생한걸까요? 감사합니다. + 추가로 현재 7장5강 cdc source connector 실습중인데 sink connector에서 동일한 오류가 발생하여 table.name.format의 "oc_sink.order_items_sink"에서 "oc_sink"를 삭제하였는데 connection.url에 oc_sink를 지정해 주었으니 특별히 문제가 없을지요? -> 백틱(`) 으로 "`oc_sink`. `order_itmes_sink`" 이런식으로 묶어주니까 동작하는 것 확인했습니다. 버전이나 어딘가의 설정 차이인것 같네요. 혹시 저같이 오류나셔서 곤란한 분 있을까 해서 남겨놓습니다.
현재 상황 : kafka-console-consumer --consumer.config $CONFLUENTHOME/consumer_temp.config --bootstrap-server localhost:9092 --topic __consumer_offsets --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" 콘솔컨슈머를 작동한 상태 인텔리제이에서 자바 컨슈머를 작동시키면 __consumer_offset 에 대한 메시지가 잘 뜨는 상황 콘솔컨슈머는 동작할 때마다 그룹이 새롭게 만들어짐 카프카의 로그를 통해 그룹ID를 확인 그룹ID : console-consumer-66204 [2024-11-08 08:54:50,280] INFO [GroupCoordinator 0]: Assignment received from leader console-consumer-63e25045-a918-49c9-bb02-abddbac461f9 for group console-consumer-66204 for generation 1. The group has 1 members, 0 of which are static. (kafka.coordinator.group.GroupCoordinator) 의문점 : 실험을 위해 CONSUMEROFFSETINFO 토픽을 생성하고, 콘솔 컨슈머를 작동, 콘솔 프로듀서로 메시지를 보낸 상황 토픽명 : CONSUMEROFFSETINFO 그룹명 : console-consumer-66204 [질문] 왜 콘솔컨슈머에 대한 메시지는 나오지 않나요? 여전히 자바 컨슈머를 작동시키면 __consumer_offsets 토픽에 대한 메시지는 잘 나오는 상황입니다 이것저것 실험해보다가 도저히 답이 나오질 않아서 첫 질문 드립니다 강의에서는 컨슈머 그룹아이디를 갖는 컨슈머를 직접 생성해왔었는데, 지금은 컨슈머 그룹아이디를 갖는 컨슈머를 따로 생성 하진 않아서 그룹에 속하지 않은 컨슈머라 메시지가 안뜨는 것인지 아니면 원래 콘솔컨슈머의 __consumer_offset 정보는 읽을 수 없는건지.. 도와주세요
너무 힘들게 강의를 따라하고있는데, 이미 강의 자료를 여러 댓글 읽기 전에 다운 받아 버려서 환불도 못하고 있는 상황입니다. mac을 사용하는 환경에서는 매우 친절하지 못한 설명들이 많네요... 이것저것 찾아가면서 하나씩 해보려고 하는데 정말 쉽지 않습니다.. utm 환경에서 현재 .sh 파일까지 어찌저찌 만들어 가면서 진행중인데 utm에서는 하나의 ui만 제공해주는 것 같은데 어떻게 강사님처럼 해볼 수 있는 방법이 없을까요?
ErrorDecoder를 이용한 예외 처리 강의 15:00 에 order_service: url: http://ORDER-SERVICE/order-service/%s/orders exception: order_is_emptyda: User's order is emptyimda2 이렇게 설정하고 http://127.0.0.1:8000/user-service/users/[userid] 돌리니까 디버깅모드에서 getProperty가 Invalid expression : ) 로 표시됩니다 resume 하면 제대로 postman에 적용되긴합니다. 거의 똑같이 썻는데 왜 저는 저렇게 디버그 모드에서 invalid expression이라고 떠서 확인을 못하게 뜰까요 스프링부트3.3 jdk 17입니다 intellij
현재 카프카로 데이터를 보내기전에 redis를 사용하여 발급된 쿠폰 개수에 대한 동시성 처리를 해서 개수에 대한 검증 로직이 있다고 앞서 강의에서 얘기를 하셨습니다. 그러면 발급된 쿠폰 개수가 100개 되고 난 이후의 요청은 그냥 무시하면 되나요? 쿠폰이 천개, 만개 이렇게 매우 많다면 쿠폰 발급에 대한 요청을 바로 DB에 저장을 하면 DB에 부하가 심해져서 카프카를 도입해 이러한 부하를 낮춘다고 이해를 했습니다. 궁금한 점은 DB에 대한 부하를 낮춰도 이벤트 시기에 수많은 사용자들의 요청으로 인해 서버 자체에 대한 부하는 굉장히 심할꺼 같은데 서버에 대한 부하를 낮추는 방법은 없나요? 현재 흐름이 쿠폰 요청 -> 서버 -> reids에서 쿠폰 개수 확인 -> 카프카 -> 컨슈머 -> DB 인데 이러한 흐름을 요청 -> 서버 -> 카프카 -> 컨슈머 -> redis에서 쿠폰 개수 확인 -> DB 이렇게 바꾸는 방식은 어떤지 궁금합니다. 이런식으로 하면 서버쪽에서 카프카로 데이터를 비동기로 전송한다면 서버 자체에도 부하가 낮아지지 않을까 라는 생각이 들어서 여쭤 봅니다. redis streams나 래빗엠큐 같은 다른 기능들도 있는데 Kafka를 사용하신 이유가 궁금합니다. 만약 쿠폰 발급이 100개처럼 적게 발급하는 시스템이라면 굳이 카프카를 도입을 할 필요가 없는건가요? publisher가 카프카로 데이터를 보내면 consumer가 바로 받아와서 DB에 처리를 하면 안되겠죠? 이렇게 처리를 하면 바로 DB에 저장을 하는 상황이니 DB에 부하가 심해진다고 생각합니다. 현재 강사님이 알려주신 코드를 바탕으로 시스템을 구축하고 여기에 부하 테스트를 한다고 했을때 어떤 식으로 단계를 잡아서 부하 테스트를 하면 좋을지 조언을 해주실 수 있을까요 한번에 너무 많은 질문해서 죄송합니다.
