스트림, 테이블 생성시 데이터 관련 문의
216
7 asked
스트림 혹은 테이블 생성 하는 시점부터 토픽의 데이터를 스트림, 테이블에 인입 시키는건가요?
혹은 생성시 토픽에 적재된 모든 데이터에 대해 인입 시키는건가요?
스트림, 테이블 생성 시점에 오프셋이나, earliest, latest 와 같은 옵션으로 데이터를 인입 시키도록 할 수 있을까요?
Answer 1
0
안녕하십니까,
토픽에 생성된 모든 데이터에 대해서 스트림, 테이블에 인입 시킵니다.
그리고 현재 버전 기준으로 latest 나 특정 offset을 지정하여 만들수는 없습니다(아마도 원본과의 정합성등의 이슈로 앞으로도 허용되지 않을 것 같습니다)
감사합니다.
0
rocksdb table의 크기는 토픽의 크기보다 좀 작습니다. 가령 Topic의 크기가 1GB면 KSQLDB의 해당 Table 사이즈는 이보다는 좀 작습니다. 근데 어느정도 사이즈로 작은지는 알 수가 없습니다. 중복이 많지 않다면, 크게 줄어들지는 않습니다.
토픽의 크기가 크다면 해당 토픽을 다 table로 만들지 고민해 보고, 최신 데이터만 필요하다면 topic의 크기를 retention.ms 등으로 삭제 변경해보는 것도 방법입니다.
Ksqldb.io 가 confluent.io 로 리다이렉션 되요
0
49
2
복합키 디코딩 오류 질문드립니다.
0
75
2
Table의 상태(Stateful) 관리 질문
0
102
2
섹션 10 관련 강의자료
0
182
2
Compact Topic에 대하여
0
206
2
시스템 타임존과 카프카 Stream 타임존이 불일치합니다.
0
143
1
ksql DB 서버를 올릴떄 아래와 같이 에러 발생
0
147
2
푸시 쿼리 종료 방법에 대해 문의 드립니다.
0
195
1
table의 데이터가 실시간으로 topic에 담기지 않습니다
0
226
1
debezium에서 ksqldb로
0
254
2
CLI로 실행과 코드로 실행하면 결과가 다르게 나옵니다
1
177
1
ksqldb는 workbench처럼 ui는 없을까요?
0
309
2
Pull 쿼리 제약에 대한 이유
0
218
1
IoT Event Streaming 적용에 대해서
0
210
1
[수정요청] Join이해 중 select inner join a.user_id 수정 필요
0
273
2
실무에서 카프카 환경 구축
0
533
2
[수정요청] Mview CSAS 강좌중에 Insert문장 수정 요청
0
248
1
inner join , outer join
0
199
1
group by 리파티션에 대한 질문
0
241
1
ksqldb timestamp 타입 질문
0
245
1
stream format 관련 질문
0
271
1
전통적 분석 시스템 한계에 대해 질문있습니다.
0
277
1
AWS 에서 confluent kafka 와 apache kafka 차이가 궁금 합니다.
0
1688
2
ksqlDB Cluster 여부 - 박성범님 질문(제가 대신해서 적습니다)
0
669
2