스트림, 테이블 생성시 데이터 관련 문의
218
작성한 질문수 7
스트림 혹은 테이블 생성 하는 시점부터 토픽의 데이터를 스트림, 테이블에 인입 시키는건가요?
혹은 생성시 토픽에 적재된 모든 데이터에 대해 인입 시키는건가요?
스트림, 테이블 생성 시점에 오프셋이나, earliest, latest 와 같은 옵션으로 데이터를 인입 시키도록 할 수 있을까요?
답변 1
0
안녕하십니까,
토픽에 생성된 모든 데이터에 대해서 스트림, 테이블에 인입 시킵니다.
그리고 현재 버전 기준으로 latest 나 특정 offset을 지정하여 만들수는 없습니다(아마도 원본과의 정합성등의 이슈로 앞으로도 허용되지 않을 것 같습니다)
감사합니다.
0
rocksdb table의 크기는 토픽의 크기보다 좀 작습니다. 가령 Topic의 크기가 1GB면 KSQLDB의 해당 Table 사이즈는 이보다는 좀 작습니다. 근데 어느정도 사이즈로 작은지는 알 수가 없습니다. 중복이 많지 않다면, 크게 줄어들지는 않습니다.
토픽의 크기가 크다면 해당 토픽을 다 table로 만들지 고민해 보고, 최신 데이터만 필요하다면 topic의 크기를 retention.ms 등으로 삭제 변경해보는 것도 방법입니다.
Ksqldb.io 가 confluent.io 로 리다이렉션 되요
0
54
2
복합키 디코딩 오류 질문드립니다.
0
76
2
Table의 상태(Stateful) 관리 질문
0
107
2
섹션 10 관련 강의자료
0
187
2
Compact Topic에 대하여
0
210
2
시스템 타임존과 카프카 Stream 타임존이 불일치합니다.
0
144
1
ksql DB 서버를 올릴떄 아래와 같이 에러 발생
0
149
2
푸시 쿼리 종료 방법에 대해 문의 드립니다.
0
195
1
table의 데이터가 실시간으로 topic에 담기지 않습니다
0
227
1
debezium에서 ksqldb로
0
254
2
CLI로 실행과 코드로 실행하면 결과가 다르게 나옵니다
1
178
1
ksqldb는 workbench처럼 ui는 없을까요?
0
310
2
Pull 쿼리 제약에 대한 이유
0
219
1
IoT Event Streaming 적용에 대해서
0
211
1
[수정요청] Join이해 중 select inner join a.user_id 수정 필요
0
275
2
실무에서 카프카 환경 구축
0
537
2
[수정요청] Mview CSAS 강좌중에 Insert문장 수정 요청
0
248
1
inner join , outer join
0
201
1
group by 리파티션에 대한 질문
0
242
1
ksqldb timestamp 타입 질문
0
250
1
stream format 관련 질문
0
274
1
전통적 분석 시스템 한계에 대해 질문있습니다.
0
280
1
AWS 에서 confluent kafka 와 apache kafka 차이가 궁금 합니다.
0
1704
2
ksqlDB Cluster 여부 - 박성범님 질문(제가 대신해서 적습니다)
0
674
2