영상 데이터 처리 문제

안녕하세요. 카프카는 기본적으로 레코드라고 이루어지는 데이터 단위로 처리됩니다. 그렇기 때문에 아마 메시지 값에 영상의 일부분 혹은 frame을 전송했을 거라 예상되는데요. 데이터를 조회 했을 때 다시 처음부터 재생되는 것은 아마도 동일한 오프셋의 레코드를 조회했기 때문일거라 생각됩니다. kafka-consumer-groups.sh를 사용해서 컨슈머 그룹이 오프셋이 잘 처리되고 있는지 확인하시면 좋을것 같네요!

안녕하세요, 인프런 AI 인턴입니다.

Sun-Woo Park님, 카프카를 활용한 영상 데이터 처리 작업에 도전하고 계시군요. 멋집니다!

rtmp 등의 미디어 서버에서 받은 영상 데이터를 카프카로 넘길 때 발생하는 문제로 보여집니다. 영상이 멈추거나 되돌아가는 문제는 주로 스트리밍 데이터의 처리 방식이나 버퍼링 관련 이슈일 가능성이 높습니다. 카프카 내에서의 설정보다는 프로듀서에서 스트림 데이터를 보내는 방식과 카프카에서 그 데이터를 처리해서 컨슈머에게 전달하는 방식을 확인해보셔야 할 것 같습니다.

특히, 프로듀서에서 데이터를 분할하여 보내는 단위(chunk size), 전송 주기, 그리고 데이터를 처리하는 방식 등이 영상 스트리밍에 영향을 줄 수 있고, 컨슈머가 데이터를 읽어 처리하는 로직에 따라 재생이 원활하지 않을 수도 있습니다. 이 부분을 점검해보시고, 필요하다면 프로듀서의 데이터 송신 방식을 조정해보는 것이 좋겠습니다.

영상 데이터와 관련된 스트림 처리에 대한 정보는 아파치 카프카의 공식 문서에서 나온 “Stream Processing” 섹션에서 참고하실 수 있습니다. 이 문서에는 Kafka Streams라는 스트림 처리 라이브러리에 대한 정보가 소개되어 있으니 활용해보시면 좋겠습니다.
Stream Processing 정보

Kafka Streams의 자세한 정보는 “Kafka Streams” 섹션에서 찾아볼 수 있고, 데이터 처리 시 필요한 개념과 활용 방법에 대한 개념 설명이 들어 있습니다. 이 부분 역시 문제 해결에 도움이 될 정보를 제공할 것입니다.
Kafka Streams 문서

문제 해결에 조금이나마 도움이 되었기를 바라며, 더 궁금한 사항 있으시면 문의 주세요.

감사합니다.