월 19,800원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결카프카 완벽 가이드 - 코어편
같은 대역의 PC로 연결 후 Java code 질문
저번 질문이 많이 도움이 되었습니다. 그래서 같은 대역의 PC 2개를 가지고하나는 kafka 서버로 만들어서 ssh로 연결이 되었고 여러 명령들도 잘 실행되었습니다.이번엔 java code로 만들어본 simpleproducer를 이용하여 메세지를 보내보고싶은데IP 부분의 code를 어떻게 설정하면 좋을까요?kafka 서버의 PC의 ip는 210.110.32.125 이고 포트번호는 12345로 포트 포워딩을 통해 22번 변경했습니다 Properties props = new Properties(); //bootstrap.servers, key.serializer.class, value.serializer.class //props.setProperty("bootstrap.servers", "192.168.56.101:9092"); props.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.56.101:9092");
- 미해결카프카 완벽 가이드 - 코어편
인텔리제이 Producer실행 관련
인텔리제이에서 메인문을 실행하였을 때,이러한 로그가 반복되며 무한히 나옵니다. gradle에서slf4j도 정상적으로 적용시켰습니다만 해결이 안되네요. 뭐가 문제일까요?
- 해결됨카프카 완벽 가이드 - 코어편
kafka 서버 구성한 기기 외 다른 기기에서 접속하고싶은데..
강의에서는 한 기기에서 모든게 이루어져서강의에서 진행되는 기기는 kafka 서버로 두고외부 기기 2개로 producer와 consumer 코드를 실행시켜보고 싶은데설정을 어떻게 해야할지 모르겠습니다.검색을해보면 advertised.listeners에 IP를 입력해야 하는거 같은데무슨 IP를 입력하면 좋을까요? 아니면 또 다른 설정이 있나요?kafka서버 PC 한대 와 다른 PC 2대인 상황이고 같은 와이파이를 공유하고 있는 상황입니다.producer 코드를 가진 PC를 실행시켜 kafka 서버 PC에 접속하여 consumer 코드를 가진 PC로 받고싶습니다.
- 미해결카프카 완벽 가이드 - 코어편
broker config vs topic config
broker와 A topic config가 각각 log.retention.ms = 1일,retention.ms=1일 인 상황에서broker config를 1주일로 바꿨습니다.A 토픽 메세지 보관 기간은 여전히 1일인가요 ? 브로커쪽 설정 수정이 global 하게 적용되는게 아닌건가요?감사합니다. - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 미해결카프카 완벽 가이드 - 코어편
OrderDBHandler 에서 데이터가 다 안들어가고 누락이 됩니다.
원인을 찾아보니insertOrders 메소드에서pstmt.executeUpdate();이 부분이 문제입니다.대신에pstmt.executeBatch();이렇게 하니누락된 데이터가 없이다 들어갑니다.
- 미해결카프카 완벽 가이드 - 코어편
Producer의 acks 설정 관련 실습 질문
안녕하세요 선생님 질문이 있습니다.acks = -1 이 All이라 하셨는데예제에서 erorr를 따로 던지지 않는 이유가 min_insync_replicas 가 기본값이 0 이라서 그냥 성공하는것인가요?
- 미해결카프카 완벽 가이드 - 코어편
카프카 브로커와 레플리카 수 관계
안녕하세요 카프카 브로커 수와 토픽의 레플리카 팩터 수 관계가 궁금합니다! 토픽 레플리카 팩터를 3으로 할꺼면브로커는 최소 3개를 가져가야하는지 궁금합니다. 토픽 레플리카 팩터와 브로커 수가 연관이 있는지요!
- 미해결카프카 완벽 가이드 - 코어편
여러 개의 파티션을 가지는 메시지 전송 실습 / 질문
안녕하세요 선생님실습에서 multipart-topic으로 key 없이 전송을 했는데 모조리 partition2로 가는데 어떤 설정을 살펴보면 될까요?kafka는 confluent 7.6으로 실습하고 있습니다.key값을 준 경우에는 강의 실습과 동일하게 진행되었습니다.
- 미해결카프카 완벽 가이드 - 코어편
VM화면에서 마우스 클릭 불가
안녕하세요. 강의 잘 듣고 있습니다.VM 환경에 들어와서 마우스 클릭을 하면 팝업창이 뜨면서 마우스 잡기 버튼이 생성되어 잡기를 클릭하면 마우스 커서도 사라지며 아무 클릭이 안돼요.구글링해보니 설정 -> 시스템-> 마더보드 -> 포인트 장치 -> USB 태블릿 or USB 멀티터치 태블릿으로 변경위와 방법을 사용해도 변경이 안됩니다.혹시 어떻게 해결해야 할까요?
- 미해결카프카 완벽 가이드 - 코어편
Kafka Consumer 데이터 유실 관련
안녕하세요 강사님!Consumer와 auto.offset.reset의 내부 동작 메커니즘 상세 이해듣던 중 궁금한 부분이 생겨서 질문 남깁니다 🙂 Kafka Consumer는 __consumer_offsets 기준으로데이터를 읽어드린다고 이해를 했는데 동일 컨슈머 그룹에 이미 메세지가 있는 경우프로듀서가 메세지를 전송한 이후에 컨슈머를 기동을 한다고 하면 earlist, lastest 모두 전송한 메세지를 받을 수 없어 데이터 유실이 발생할 가능성이 있을 것 같은데 이러한 데이터 유실을 방지하는 방법이 있을까요?프로듀서 같은경우 ACK 설정으로 이를 방지할 수 있을 것 같은데 컨슈머에도 동일한 설정이 있는지 궁금합니다.
- 미해결카프카 완벽 가이드 - 코어편
프로듀서 직렬화 관련 질문있습니다.
안녕하세요, 실무에서 발생할 법한 사항에 대한 질문이 있습니다. 외부에서 데이터를 전송할 수 있는 API 엔드포인트가 프로젝트 내에 열려있고, 이 곳을 향해 들어오는 데이터를 적절히 파싱해서 Object에 담은 상태라고 했을 때이 Object를 토픽에 저장하고 꺼내오는 과정에 강의의 예를 적용하면 동일한 커스텀 직렬화 및 역직렬화가 적용된 프로듀서, 컨슈머 클라이언트를 통해 가능할 것 같은데요 만약 프로듀서는 그대로 자바 (Spring 환경) 클라이언트로 구현된 것을 사용한다고 하고, 토픽에 저장된 데이터를 ksqldb를 사용한 스트림처리나 connect를 붙여 타겟에 보내는 용도로 쓴다고 했을 때는 어떻게 해야할 까요?이런 상황에서는 커스텀 역직렬화를 ksqldb나 connect에서 사용하기 어려울 것 같은데, 프로듀서에서 Avro 타입등으로 전송해야 하는지 궁금합니다. 특정 상황에서는 스키마를 굳이 관리하지 않고 그냥 Json타입을 사용하고 싶을 수도 있을 것 같은데 커스텀 직렬화를 통해 바이트 코드로 토픽에 전송시킨 후 ksqldb 등에서 JSON 포맷으로 읽으면 읽혀질까요?
- 미해결카프카 완벽 가이드 - 코어편
kafka paraller-consumer 처리방법을 알고 싶습니다.
하나의 토픽, 하나의 파티션으로 순서보장을 하는 Consumer 처리를 알고싶습니다.kafka paraller-consumer 처리를 하고 싶은데 마땅한 예제가 나와있지 않아서요.해당 예제를 찾아보면 보통 multi thread 방식이라 순서보장이 되지않은것 같아 사용을 못할것 같습니다.최종적으로 순서보장을 하는 consumer 병렬처리 방법을 알고 싶어 질문드렸습니다.
- 미해결카프카 완벽 가이드 - 코어편
consumer 병렬처리를 알고 싶습니다.
안녕하세요.해당 수업을 잘듣고 있습니다.혹시 consumer에 대한 병렬처리방법에 대한 강의가 있을까요?참고할만한 강의가 있을까요?감사합니다.
- 해결됨카프카 완벽 가이드 - 코어편
컨슈머 스태틱 그룹 멤버십
안녕하세요, 스태틱 그룹 멤버십 관련 질문있습니다!만약 group instance id를 동일 counsumer group에 속한 counsumer 중에 일부에만 할당하는 경우는 어떻게 되나요?이 경우에도 스태틱 그룹 멤버십이 적용되는 건가요?
- 미해결카프카 완벽 가이드 - 코어편
UnknownHostException : kafka
똑같이 아이피 고정해서 했는데 kafka < 라는걸 계속 찾네요 ㅠㅠ192.xx 대역으로 하면 못찾습니다.. 그래서일단은 windows hosts 설정에 kafka 도메인으로 고정IP를 넣어줘서 해결은 했는데..도커로 띄워서 그런걸까요?
- 미해결카프카 완벽 가이드 - 코어편
mtputty 액세스가 거부됩니다
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 쁘띠, mt쁘띠도 삭제해봐도 자꾸 리커넥 메세지가 나옵니다.. 일단 쁘띠는 정상동작합니다 ㅜㅜ
- 미해결카프카 완벽 가이드 - 코어편
vi 에서 wq!명령어가 안 먹혀요
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.이렇게 :wq!했는데도 불구하고 저장하고 나가기 기능이 안됩니다 ㅜㅜ
- 미해결카프카 완벽 가이드 - 코어편
강사님 인텔리제이 출력메시지 줄이는 방법 한번만 다시 부탁드립니다.
지난번 강의중에 intellj 메시지 줄이는 방법을 알려주셨는데제가 깜빡 잊고 설정을 하지 않았습니다.다시 그 강의를 찾아보려니 엄두가 나지 않아서 번거로우겠지만 다시 부탁드려도 되는지요?
- 미해결카프카 완벽 가이드 - 코어편
멀티 노드구성 관련 질문입니다
안녕하세요!좋은 강의 잘 듣고 있는 수강생입니다.강의에 나온 예제는 하나의 VM에 멀티 노드를 구성하는 예제인데! 예를 들어 VM3대에 각각 한 개의 브로커를 띄우고 VM3대를 하나의 클러스터로 구성하려면 강의에서 보여주신 설정이외에 추가적인 설정이 필요한건지 궁금해 질문을 남깁니다. (전제: VM3대가 네트워크로 연결되어있다) (추측이지만, 실제로 멀티 브로커를 구성하는 상황이라면 여러대의 VM에 브로커를 구성할 거 같다고 생각했기 때문입니다)
- 미해결카프카 완벽 가이드 - 코어편
클러스터 관련 질문입니다!
안녕하세요! 카프카를 멀티 브로커로 구성하는 기준이 있을까요?예를 들면 어느정도 이상부터 멀티 브로커로 구성을 하는지에 대한 best practice가 있을까요?아니면, 단일 노드로 구성하고 scale out하는 방식으로 해야 하는 걸까요?