안녕하세요 원영님. 강의 외적인 내용일 수 있지만 aws kinesis에 대해 질문드립니다.
507
작성한 질문수 3
안녕하세요 원영님. aws kinesis data stream이 serverless kafka broker인가? 에 대해서 질문드리려고 합니다.
(혹시 kinesis가 kafka와는 상관없는 별도의 서비스라면 강의 내용과 완전히 벗어나는 내용이라 죄송합니다!!)
현재 업무에서 aws kinesis data stream을 사용하고 있습니다. 토픽, 파티션, 레코드, 오프셋 등 데이터를 실시간으로 받아 저장 및 처리하는 형태가 kafka와 비슷해 kinesis data stream 또한 다른 서버리스 서비스들과 유사하게 서버리스 카프카 브로커라고 생각했습니다.
그런데 강의를 듣다보니 kafka와 kinesis data stream은 차이가 있습니다. 예를 들면 kafka의 파티션은 줄일 수 없지만 kinesis data stream의 shard는 줄일 수 있습니다. 서버리스 kafka라면 불가능한 일입니다.
이 둘은 아예 다른 서비스라고 보는게 맞을까요?
답변 1
1
박상원님, 키네시스는 카프카와 유사하지만 다른 서비스라고 볼 수 있습니다. 그렇기 때문에 AWS에서 키네시스로 서비스를 끝내지 않고 MSK(Managed Streaming for Apache Kafka)를 제공하는 것도 사용 범위나 방식이 다르기 때문이죠.
aws kinesis data stream이 serverless kafka broker라고 볼 수는 없겠습니다. 오히려 Confluent Cloud가 serverless kafka라고 보는게 타당하겠습니다.
카프카 ISR 개념 부분 질문
0
487
1
카프카 커넥터를 두가지 사용하는 이유
0
907
1
브로커, 토픽, 파티션관계
0
687
1
커넥트(소스), 커넥트(싱크)
1
542
1
카프카 isr 질문 있어요
0
339
1
파티션 질문 있어요
0
392
1
명령어 관련 문의드립니다.
0
434
2
토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.
0
435
2
레코드에 json 형태의 데이터 넣는법 질문
0
436
2
카프카 도커로 실행
1
445
1
CCDAK 질문입니다!
0
1365
1
스트림즈 조인에 관련해서 질문드립니다.
0
306
1
min.insync.replicas에서 설정값만큼의 브로커 다운시
0
258
1
브로커로 메시지를 보낼때 null값인 경우
0
473
1
zookeeper 실행시 에러
1
786
1
온프레미스 환경 설치에 대해 질문있습니다.
0
356
1
리밸런싱 시, 메시지 중복 처리 문제
0
1071
1
강사님, Idempotence / transaction의 차이가 궁금합니다.
0
375
1
브로커 장애 발생시 질문
0
337
1
에러 핸들링과 관련하여 질문 드립니다
0
315
1
토픽 생성시 파티션이 배치되는 방법
0
364
1
질문있습니다!
0
139
1
카프카 스트림즈 에러 핸들링 질문 드립니다
0
401
1
카프카 클러스터 질문이 있습니다.
0
185
1