KStreamJoinKTable 실행시 오류

안녕하세요.보내주신 로그에 따르면 정확한 원인을 찾기 어렵습니다.사용된 자바 코드build.gradle로그 전체실행시 사용한 JDK 버전을 공유해주시면 다시 한번 확인 후 답변드리겠습니다~

auto.commit.interval.ms 옵션 관련 질문 드립니다.

안녕하세요, auto.commit.interval.ms 를 지정한다는 뜻은 auto commit을 수행한다는 뜻이며, 어떠한 사유로 인해 서버가 부득이하게 종료되는 경우에는 커밋 누락으로 중복 처리 문제가 발생할 수 있습니다.

파티션, 컨슈머 그룹, 컨슈머 관련 질문

안녕하세요~ 답변드리겠습니다 1-1. 하나의 파티션은 컨슈머 그룹에 묶인 컨슈머에 대해서 여러개가 할당될 수 없습니다. 즉, '동일 컨슈머 그룹' 일 경우에 대해서 할당이 안되는 것이 맞습니다. 서로 다른 컨슈머 그룹에 대해서는 별개로 동작합니다! 1-2. 컨슈머 그룹별로 파티션별로 다른 commit이 완료된 오프셋을 가집니다. 예를 들어 파티션이 3개인 토픽에 hdfs-group과 elasticsearch-group 이라는 각각의 컨슈머 그룹이 붙어 데이터를 처리한다고 했을 때, hdfs-group은 각 파티션에 해당하는 커밋된 오프셋이 3개 존재하고 elasticsearch-group에도 마찬가지로 각 파티션에 해당하는 커밋되 오프셋이 3개 존재할 수 있습니다. 서로 다른 컨슈머 그룹의 오프셋은 영향을 미치지 않는다는점 참고부탁드립니다. 2.하나의 컨슈머가 여러 토픽을 구독하는 경우는 실무 기준으로 흔하지는 않은것 같습니다. 스키마가 비슷하고 동시에 처리되어야 할 경우와 같이 특수한 경우에 여러 토픽을 구독할 상황이 있을 수는 있습니다.감사합니다!

java, kotlin

안녕하세요!강의에서 나온 주요 개념은 kafka-clients 공식 아파치 라이브러리 기준입니다. 이 라이브러리는 java로 작성되어 있기 때문에 kotlin에서도 동일하게 사용가능합니다! 감사합니다.

shutdownThread 에 대한 문의 입니다.

안녕하세요. 컨슈머의 shutdownThread는 컨슈머의 안전한 종료를 위해 명시적으로 종료 시그널을 보내고 컨슈머를 종료(close()) 시키는 것에 의의가 있습니다. 컨슈머에 장애가 발생하여 running 중인 애플리케이션이 shutdownThread럴 거치지 않고 죽는다면 데이터의 유실 또는 중복이 발생할 수 있습니다. 이 경우 장애에 대비한 대응책은 별도로 로직으로 개발하셔야 합니다.해당 강의에서는 컨슈머 그룹과 관계없이 컨슈머에 대한 종료에 대한 실습을 진행했습니다. 그래서 kill 이후에 wakeup()을 통해 안전하게 종료되는 것을 보실 수 있습니다.그리고 컨슈머그룹을 여러 인스턴스(분리된 pod)로 운영하실 때 문제 발생시 리밸런싱에 대한 로직 개발은 섹션7에 리밸런싱 부분을 참고해주시면 좋겠습니다!

zookeeper실행시 오류가 발생합니다.

안녕하세요 해당 에러는 kafka 바이너리가 관련 소스코드를 찾지 못해서 생기는 현상인것 같습니다.(사진)카프카 다운로드 페이지에서 Binary downloads에서 tgz 파일을 다운로드 받아서 다시 해보시겠어요?

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

안녕하세요. 해당 소스코드에서 Thread.sleep(1000)은 단순히 running 환경 동작 확인을 위한 코드입니다. 로직상 없어도 되는 부분이니 참고부탁드립니다.

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

안녕하세요. 일반적으로 리소스의 관리 차원에서 1개 컨슈머 애플리케이션이 n개 컨슈머 스레드를 돌리는 것은 특별한 경우가 아닌 이상 하지 않습니다. 1개 컨슈머 애플리케이션에 1개 컨슈머 스레드를 돌리고, 해당 애플리케이션이 실행되는 pod를 여러개 운영(replica:5 와 같이)하는 것이 실무에서 가장 많이 사용되는 방식이라고 보면 좋을 것 같습니다다만, 앞서 말씀드렸다시피 k8s와 같이 애플리케이션의 증설(scale out)이 쉬운 상황이라면 이 방법이 일반적이겠으나, 물리장비 운영과 같이 deploy가 쉽지 않고 제한된 환경에서는 1개 서버에 여러개의 컨슈머를 운영하는 것도 방법입니다.

파티션 개수와 컨슈머 개수의 처리량 관련 질문

안녕하세요.기본적으로 프로듀서와 컨슈머는 리더 파티션과 통신합니다. 그리고 일반적으로 토픽의 '파티션 개수'라고 불리는 것은 리더 파티션의 개수라고 이해하시면 쉽습니다. 즉, 리더 파티션 개수를 늘리면 병렬적으로 통신할 수 있는 파티션 개수가 늘어나서 처리량이 늘어나는 것입니다.반면, 팔로워 파티션은 역할자체가 리더 파티션과 다릅니다. 리더 파티션에 들어온 데이터를 지속적으로 복제하고 적재하여 장애에 대비하게 되는 것이 팔로워 파티션입니다. 그렇기 때문에 팔로워 파티션은 리더 파티션이 존재하는 브로커가 아닌 다른 브로커에 저장되는 것이죠.

동영상 및 이미지 처리 관련 문의 드립니다.

안녕하세요~실시간 이미지 또는 동영상을 frame단위로 카프카로 전송하여 처리하는 방법은 일반적으로 널리 사용되는 방법은 아닌것으로 알고 있습니다. 언급해주신 구현에 대해 레퍼런스도 본적이 없습니다. 카프카는 분산 이벤트 처리 플랫폼으로서 특정 시점에 발생된 '이벤트'에 대해 처리하기 위해 담는 용도로 사용되는 것이 기본 개념입니다. 그렇다보니 frame단위로 처리되고 특정 fps로 실행되어야 하는 동영상과 같은 요구사항에서는 카프카가 적합하지는 않다고 생각되네요. 컨슈머나 카프카 스트림즈는 이러한 요구사항에 맞추어 운영될 수 없기 때문입니다.