vm 어댑터설정 문의

안녕하십니까, 주말에 일이 있어서 답변이 좀 늦었습니다. 근데 호스트 전용 어댑터를 적용하면 vm에서 인터넷으로 외부에 접속할 수가 없습니다. vm에 kafka등을 다운로드 해야 이런 작업들이 안됩니다. 지금 사용하시는 pc가 혹 인터넷 연결이 안되거나, 내부망에서 사용하시는 건지요? 사용하시는 os는 어떻게 되시는지요?(윈도우 또는 맥)

avro plugin에 안보이는거 같아요

안녕하십니까, 먼저 VM 기반에서 강의대로 환경을 설정하신 건지요? 아님 별도의 환경에서 수행을 하고 계신지 확인 부탁드립니다감사합니다.

6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?

안녕하십니까, 아나콘다 버전은 강의와 일치하지 않아도 되지만, 사이킷런, 파이썬 버전은 일치 시켜 주십시요. 사이킷런 버전이 일치하지 않으면 결과가 강의와 동일하지 않거나, 동작이 안될 수도 있습니다. 감사합니다.

복합키 디코딩 오류 질문드립니다.

안녕하십니까, 먼저 ksqlDB에서 Window aggregation 절을 사용하면 key가 windowed key로 바뀌게 되어서 json format이 아니라 ksqDB의 전용 Window format으로 바뀌게 됩니다. Master Topic를 다시 별도의 Stream Topic으로 재 stream 해보시면 어떨까요? 그리고 이걸 consumer에서 읽어 보시지요. CREATE STREAM MASTER_FLATWITH (KAFKA_TOPIC='master_flat', KEY_FORMAT='JSON', VALUE_FORMAT='JSON')AS SELECT TRID AS KEY, *FROM MASTEREMIT CHANGES; 감사합니다.

zookeeper가 실행이 안되요

안녕하십니까, 강의 영상과 동일하게 VM 설치하고 Kafka 설치 완료 했는데, 안되는 건가요? 아님, 설치시 뭔가 변경하신 부분이 있는지요?감사합니다.

Cooperative Sticky Rebalancing 질문

좋은 질문이군요.Consumer가 Eager 모드에서 Rebalancing을 하게 되면 poll()이 rebalance가 완료 될때까지 기존 할당된 파티션에서 데이터를 가져오지 않고 빈 값만 반환합니다. Rebalancing이 완료되어서 파티션이 재 할당되면 그때부터 해당 파티션에서 데이터를 가져 옵니다. 근데 Cooperative Sticky로 Rebalancing이 되는 경우에는 poll()은 기존 할당된 파티션에서는 계속 데이터를 가져오고, 신규 파티션에서는 Rebalaning이 완료 된 이후에 데이터를 가져오는 방식을 사용합니다. 감사합니다.

consumer 설정 질문

안녕하십니까, 제가 질문을 잘 이해하지 못했습니다. 먼저 질문 중=>이렇게 말씀하셨는데컨슈머를 띄울 때 파티션별로 각 서버마다 따로 뜨게 하시는지한 컨슈머 서버에 여러 파티션을 구독하게 띄우시는지 궁금합니다.=================에서 서버와 컨슈머 서버가 어떤 것을 의미하는 지요? Kafka에서 Consumer 는 Client입니다. 그리고 broker는 서버입니다. 즉 consumer client 가 broker 서버에 접속해서 데이터를 읽어 들이는 구조 입니다. 다시 한번 질문 확인 부탁드립니다. 감사합니다.

consumer.poll 질문입니다.

안녕하십니까, 메인 질문과 추가질문 1 답변입니다. Consumer Client는 poll()을 통해 Kafka Broker에 아직 읽지 않은, 또는 새로운 데이터가 있으면 즉시 가져와야 합니다. 기다릴 필요가 없습니다. 그래야 빠른 데이터 처리가 가능합니다. 카프카의 철학이라기 보다 빠른 데이터 처리를 위해서 필요한 부분입니다. poll()은 새로운 데이터가 있으면 즉시 읽고, 없으면 poll()에 셋팅된 시간 값으로 새로운 데이터가 있는지 주기적으로 확인하고, 있다면 데이터를 가져오려고 시도하는 것입니다. 추가 질문 2heart beat thread는 만약 여러 토픽과 토픽 내에서도 여러 그룹 아이디로 구독하고 있다 했을 때 어떻게 동작을 하는지 궁금합니다.=> 먼저 하나의 heart beat thread는 여러 Consumer 그룹 아이디를 가질 수 없습니다.heart beat thread는 하나의 Consumer Client 프로세스 당 별도로 한개의 thread가 heart beat 용으로 생성되는 형태 입니다. 근데 하나의 Consumer Client는 단 하나의 Consumer 그룹 아이디 만을 가질 수 있기 때문에 heart beat thread 역시 단 하나의 Consumer 그룹아이디에 종속 됩니다. 하나의 Consumer Client는 여러개의 Topic들을 읽어 들일 수 있습니다. 보통은 데이터 처리를 Topic별로 헷갈리지 않게 하기 위해서 하나의 Consumer Client가 하나의 Topic을 읽지만, 필요하다면 여러개의 Topic들을 한번에 읽어 들일 수 있습니다. 이 경우에도 역시 heart beat thread는 Consumer Client 에 종속 되므로 한 개 입니다. 감사합니다.

mainThread.join() 관련 질문

안녕하십니까,잘 듣고 계시다니, 저도 기분이 좋군요.mainThread.join()을 사용하지 않을 때 close()가 호출되지 않는 경우가 생길 수 있나요? finally 블럭의 close() 실행은 join()의 호출 없이도 보장되지 않나요? try 구문 내의 코드의 실행을 보장하기 위해서 join()이 필요한 건 이해가 됐습니다!=> 말씀하신 대로 Java application에서 자연스러운 종료는 exception이 발생하지 않아도 finally block이 수행됩니다. 하지만 main thread가 loop에서 대기하고 있는 상황에서(즉 consumer poll()과 같은) ctrl+c 로 종료를 시킨다던가 하는 경우에는 finally block이 호출되지 않을 수 있습니다.때문에 이와 같은 상황에서 JVM이 스스로 종료될 때 마지막으로 consumer close등의 리소스 해제 작업을 addShutdownHook()을 사용해서 등록을 시켜 주는 것입니다. 감사합니다.

Debezium CDC Source Connector 이벤트 메시지

안녕하십니까, Debezium CDC 는 소스 DB의 commit 이 적용된 데이터만 적용이 됩니다. 제 설명은 DB의 redo log는 commit되지 않는 데이터도 가지고 있기 때문에 before와 after 속성을 가지고 있다는 의미입니다. Debezium이 Kafka topic에 rollback을 적용하기 위해서 존재한다는 의미는 아닙니다. Debezium에서 before와 after를 가지는 이유는 아마도 update나 delete 시에 또는 문제 발생 시 이전에 어떤 데이터가 어떻게 변경되었는지 알기 위해서가 주요 이유일 것입니다. 그럼에도 제가 설명 시 redo log의 before/after 속성을 언급드린 이유는 Debezium을 포함한 CDC 제품이 redo log 포맷을 최대한 유지하려고 하기 때문에 redo log의 before와 after를 가지는 특징을 그대로 반영했을 거라는 의미 입니다. debezium은 아니지만 특정 CDC 제품들은 commit 되지 않은 redo log도 그대로 복제한 뒤에 나중에 rollback되면 복제된 target 데이터도 다 rollback하는 기능을 가지고 있는 경우도 있습니다. 감사합니다.