월 33,000원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
브로커, 토픽, 파티션관계
안녕하세요!조금 애매한 부분이 있어서요!-브로커 3대토픽 2개파티션 - rf 설정 2- 로 만약에 설정을 한다면, 각 브로커에 토픽 2개씩 설정이 된거고, 파티션은 2개로 설정했기에 브로커 3개에서 라운드로빈으로 설정이 되는건가요?이게 .. 어렵네요. 브로커 3대. 딱설정하고.. 토픽이 2개라고한다면 각 브로커마다 토픽이 테이블처럼 있을거고..이제 파티션을 라운드로빈으로 돌려서 설정을 해야하는데.. 이게맞는거지 ㅠㅠㅠ
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
커넥트(소스), 커넥트(싱크)
안녕하세요!커넥트(소스), 커넥트(싱크)에 대한 이해가 부족합니다.DB 연결시, 커넥션풀과 같은 느낌이라고 생각하면 되는건가요? 아니면 그 풀안의 한개의 커넥션이라고 생각하면 되는걸까요? 아니면 전혀 다른 개념인지요. 감사힙낟!
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
카프카 isr 질문 있어요
파티션 1번의 구성이 이렇게 나온다고 가정을 하면Partition : 1 leader : 3 Replicas: 3,1,2 Isr: 3,12번 브로커 에서 장애가 발생해서 ISR에서 제외가 되었고 2번 브로커가 복구가 되면 ISR : 3, 1, 2로 바뀌어야 된다고 생각을 하는데 시간을 두고 기다려도 ISR: 3,1에서 바뀌지를 않더라구요. 이거 왜 이런거일까요..?
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
파티션 질문 있어요
1번 파티션에만 데이터를 보내는 법에 대해서 배웠는데요. 실무에서는 이렇게 파티션을 구분을 하는 이유가 있을까요? 그냥 아무 파티션에 데이터를 보내고 컨슈머가 이를 읽는 방식으로 데이터를 보내면 안되나요?
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
명령어 관련 문의드립니다.
안녕하세요 선생님 카프카를 처음 시작하는 입장에서 정말 도움이 많이 됩니다.다름이 아니라 카프카를 벗어난 약간 엉뚱한 질문을 드리려고 하는데요선생님께서 명령어 타이핑시 바로 디렉토리를 조회하시더라구요! iterm에서 해당 단축키가 무엇인지 궁금합니다.강의내용 (kafka-configs.sh 3:59)
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.
안녕하세요말씀해주신 내용들로 간단히 테스트를 진행중인데요먼저 해당 토픽을 생성하고 파티션을 10개로 늘렸습니다.key.seprator설정을 하지 않고 기본값으로 메세지를 발행시켰는데요. 그럼 파티션 0번부터 배정이 되어있을줄 알았는데 확인해보니 5번 파티션에 메세지가 들어가있더라구요. 혹시 이렇게 배정이 된 이유를 알 수 있을까요?
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
레코드에 json 형태의 데이터 넣는법 질문
안녕하세요.카프카 토픽에 데이터를 넣는 연습을 cli 명령어로 연습하고 있는데요.보여주신 예시는 문자열만 데이터를 넣는데 혹시 Json 형태의 데이터도 넣는 방법이 있을까요??
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
카프카 도커로 실행
안녕하세요저같은 경우는 도커가 사용하기 편리해서 도커를 이용해서 해당 서버를 띄우고 있는데요.docker hub에 접속해서 카프카 이미지를 검색해보면 너무 여러가지가 나와 어떤걸 사용하면 좋을지 모르곘습니다. 혹시 추천해줄만한 도커 이미지가 있을까요??
- 해결됨[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
CCDAK 질문입니다!
CCDAK를 취득하고자 하는데 혹시 강사님은 공부를 어떻게 하셨나요? 그리고 문제는 다 영어로 나오는지 궁금합니다!!!
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
스트림즈 조인에 관련해서 질문드립니다.
오늘 질문을 여러번 올리게되네요 ㅎ.. 스트림즈 KStream과 KTable 을 join시 KStream과 KTable에 새로운값을 추가했을때 최신값에 대한 처리값이 출력되는데 강의에서 KStream에 같은 키에 대한값을 두개 넣었으니 해당키에 대한 값이 2개일텐데 왜 join시 최신값만 join되서 처리되는건가요?KStream과 GlobalKTable 을 join시 GlobalKTable에도 최신값을 기준으로 업데이트 되는건가요? 그게 아니라면 join시에 같은 키를 가진 값들이 여러개있을텐데 처리될때 최신값을 기준으로 join되는건지 아니면 모든값에 대해 join처리되는건지 궁금합니다.
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
min.insync.replicas에서 설정값만큼의 브로커 다운시
안녕하세요 강사님 ack= allfactor = 3min.insync.replicas = 2 일경우에서브로커 2개가 다운되었을경우 min.insync 조건에 충족하지 못하여 오류가 뜨는걸로 알고있었는데 이상황에서 컨슈머에서 데이터 요청을하면 남은 1개의 복제본에서 데이터를 가져올수있다는 내용을 봤습니다. 이 경우 어떤 동작을 통해서 데이터를 가져오는것 인지 궁금합니다.
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
브로커로 메시지를 보낼때 null값인 경우
- 카프카를 공부하시면서 생긴 질문들을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.안녕하세요 강사님프로듀서에서 브로커로 메시지를 보낼때key값과 value값을 보내는데 value값이 null인경우에 대한 얘기를 보게되었는데 topic 명과 value값은 필수라고 들은거같은데오류없이 전송되는 이유가 무엇인지 궁금합니다.null도 그자체로 값으로 치는건가요?
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
zookeeper 실행시 에러
- 카프카를 공부하시면서 생긴 질문들을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.주키퍼 사용시 오류가 뜨며 작동이 안됩니다..
- 해결됨[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
온프레미스 환경 설치에 대해 질문있습니다.
안녕하세요 강사님다름이 아니라가상서버에 zookeeper, broker, connect, ksqldb, schema-registry, control center 까지각각 서버를 만들어서 구성한뒤에 연결해보고싶은데설치 및 구성에 필요한 내용들을 참조할만한 사이트가 있을까요. 제가 찾을때는 한서버에 컨플루언트 플랫폼 설치해서 그서버안에서 zookeeper 부터 control center까지 실행하는것밖에 안보여서요.. 참고할만한 사이트 알려주시면 감사하겠습니다.
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
리밸런싱 시, 메시지 중복 처리 문제
안녕하세요, 수업 잘 듣고 있습니다!카프카 리밸런싱에 대해 수업을 들었습니다.그런데 리밸런싱시 메시지를 중복 컨슘할 수 있을것 같은 생각이 들어서 문의드려요! 예를들어 하나의 토픽에 파티션 2개가 있고하나의 컨슈머그룹에 컨슈머 2개가 각 파티션에 연결되어 동작하고 있는 상황입니다.1번 컨슈머가 1번 파티션에 연결되어 있고2번 컨슈머는 2번 파티션에 연결되어 있습니다.1번 컨슈머가 1번 파티션에 들어있는 1번 레코드를 처리하는 도중, 장애가 나서 죽었습니다.2번 컨슈머는 이를 감지하고 1번 파티션에 리밸런싱 되었습니다.그리고 처리되지 못한 1번 레코드를 읽어서 처리하기 시작했습니다. 그러던 도중에 1번 컨슈머가 살아나서 다시 리밸런싱이 되어 1번 파티션으로 예전과 같이 연결되었습니다.1번 레코드는 아직 커밋되지 않은 상태여서 1번 컨슈머는 1번 레코드를 읽었습니다. 그리고 1번 레코드를 처리하기 시작하여 동시에 1번 컨슈머와 2번 컨슈머가 1번 레코드를 처리하는 일이 벌어졌습니다. 이런 일이 발생할 수 있는걸까요?혹시 이런 경우 어떻게 하면 중복처리를 막을 수 있을까요? 아니면 혹시 오프셋이 컨슈머 그룹기준이라서 1번 레코드를 컨슈머 2번이 읽고 '처리중' 이라면 1번 컨슈머가 다시 1번 파티션에 연결됐을 때 1번 레코드를 polling 하지 않게 될까요?
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
강사님, Idempotence / transaction의 차이가 궁금합니다.
안녕하세요, 강사님!항상 좋은 강의 잘 듣고 있습니다. 이번에 공부하면서 궁금한 점이 생겨서 질문드리게 되었습니다. Idempotence / transaction의 Producer 관점의 차이는 어떤 것인지 구분할 수 있을까요? 제가 이해한 내용은 다음과 같은데 정확하지 않아서... 질문드리고 싶습니다. Idempotence는 중복 없이 전송하지만, Producer Fail이 발생했을 때의 중복 전송을 막지는 못한다. 예를 들면 다음과 같은 상황으로 이해를 할 수 있을 것 같습니다.프로듀서가 브로커에 메세지를 보낸다. 브로커가 ACK를 보낸다. 이 때 ACK를 받지 못하고프로듀서가 죽는다.프로듀서가 다시 살아난다. 이 때 메세지를 보내려고 하면 다시 PID를 배정받는다. 따라서 SEQ Num도 초기화 된다. 이 때 이전에 발송 취소된 메세지부터 보내려고 한다. 이전에 발송 취소된 메세지를 보내면, PID와 SEQ가 초기화 되기 때문에 브로커 입장에서는 중복메세지가 아니라고 생각하고 저장한다. 그런데 트랜잭션으로 하게 되었을 때는 이런 상황을 방지할 수 있을 것 같습니다. 예시는 다음과 같습니다. 트랜잭션 코디네이터를 통해 TID / PID가 맵핑되고, PID를 에포크 별로 커밋 오프셋을 관리한다. 각 프로듀서는 고유한 TID를 가지고 있기 때문에 위와 같이 죽고 회복되는 상황에서 고유한 TID를 바탕으로 이전의 PID 값을 받아온다. 이전의 PID를 에크별로 커밋 오프셋을 관리하기 때문에 여기서 프로듀서는 이전에 발송했던 Message Seq를 받아올 수 있다.따라서 프로듀서는 중복없이 정확히 한번 전송을 할 수 있게 된다. 이게 맞을까요??항상 좋은 강의 너무 감사드립니다!
- 해결됨[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
브로커 장애 발생시 질문
안녕하세요 ~브로커에 장애 발생시해당 리더파티션의 권한을 다른 브로커의 팔로워 파티션이 넘겨받는다고 알고있는데 전체 브로커가 동시에 다운되는경우는 없는건지,전체 다운됐을경우에는 어떻게 처리하는지 궁금합니다.
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
에러 핸들링과 관련하여 질문 드립니다
안녕하세요 선생님!좋은 강의를 만들어주셔서 잘 듣고 있습니다 :)카프카의 에러 핸들링 패턴에 대해 더 알아보다가 아래의 글을 봤습니니다.https://www.confluent.io/blog/error-handling-patterns-in-kafka/Error 큐, Retry 큐, Redirect 큐 등 여러가지 큐를 두고 재시도하는 전략들이 있더라구요혹시 실무에서는 보통 어떤 전략을 취하는지 알 수 있을까요? 감사합니다 :)
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
토픽 생성시 파티션이 배치되는 방법
안녕하세요 강의 잘보고있습니다."토픽 생성시 파티션이 배치되는 방법" 설명중파티션이 5개인 토픽을 생성했을 경우 0번 브로커부터 시작하여 round-robin방식으로 리더 파티션들이 생성되어 네트워크 통신을 골고루 가능하는 부분에서 프로듀서와 컨슈머는 리더 브로커만 통신하는데 파티션이 0번부터 2번까지 골고루 생성되면 컨슈머는 리더 브로커뿐만 아니라 팔로우 브로커와도 통신을 하게되는게 아닌가요?!
- 미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
질문있습니다!
카프카 클러스터를 미러 메이커를 이용하여 컨슈머 클러스터, 프로듀서 클러스터로 나누는 경우가 있다고 봤데요...하나의 하나의 클러스터가 컨슈머, 프로듀서 둘 다의 역할을 하면 장애 발생 시 서비스를 하기가 힘들어서 그렇다고 생각을 해보았는데 혹시 큰? 다른? 이유가 있는지 궁금합니다!!