• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

안녕하세요 원영님. 강의 외적인 내용일 수 있지만 aws kinesis에 대해 질문드립니다.

22.08.31 22:57 작성 조회수 256

0

안녕하세요 원영님. aws kinesis data stream이 serverless kafka broker인가? 에 대해서 질문드리려고 합니다.

(혹시 kinesis가 kafka와는 상관없는 별도의 서비스라면 강의 내용과 완전히 벗어나는 내용이라 죄송합니다!!)

현재 업무에서 aws kinesis data stream을 사용하고 있습니다. 토픽, 파티션, 레코드, 오프셋 등 데이터를 실시간으로 받아 저장 및 처리하는 형태가 kafka와 비슷해 kinesis data stream 또한 다른 서버리스 서비스들과 유사하게 서버리스 카프카 브로커라고 생각했습니다.

그런데 강의를 듣다보니 kafka와 kinesis data stream은 차이가 있습니다. 예를 들면 kafka의 파티션은 줄일 수 없지만 kinesis data stream의 shard는 줄일 수 있습니다. 서버리스 kafka라면 불가능한 일입니다.

이 둘은 아예 다른 서비스라고 보는게 맞을까요?

답변 1

답변을 작성해보세요.

1

박상원님, 키네시스는 카프카와 유사하지만 다른 서비스라고 볼 수 있습니다. 그렇기 때문에 AWS에서 키네시스로 서비스를 끝내지 않고 MSK(Managed Streaming for Apache Kafka)를 제공하는 것도 사용 범위나 방식이 다르기 때문이죠.

aws kinesis data stream이 serverless kafka broker라고 볼 수는 없겠습니다. 오히려 Confluent Cloud가 serverless kafka라고 보는게 타당하겠습니다.