Inflearn Community Q&A
asked
스트림, 테이블 생성시 데이터 관련 문의
Written on
·
181
0
스트림 혹은 테이블 생성 하는 시점부터 토픽의 데이터를 스트림, 테이블에 인입 시키는건가요?
혹은 생성시 토픽에 적재된 모든 데이터에 대해 인입 시키는건가요?
스트림, 테이블 생성 시점에 오프셋이나, earliest, latest 와 같은 옵션으로 데이터를 인입 시키도록 할 수 있을까요?
kafka데이터-엔지니어링ksqldb
Answer 1
0
dooleyz3525
Instructor
안녕하십니까,
토픽에 생성된 모든 데이터에 대해서 스트림, 테이블에 인입 시킵니다.
그리고 현재 버전 기준으로 latest 나 특정 offset을 지정하여 만들수는 없습니다(아마도 원본과의 정합성등의 이슈로 앞으로도 허용되지 않을 것 같습니다)
감사합니다.
dooleyz3525
Instructor
rocksdb table의 크기는 토픽의 크기보다 좀 작습니다. 가령 Topic의 크기가 1GB면 KSQLDB의 해당 Table 사이즈는 이보다는 좀 작습니다. 근데 어느정도 사이즈로 작은지는 알 수가 없습니다. 중복이 많지 않다면, 크게 줄어들지는 않습니다.
토픽의 크기가 크다면 해당 토픽을 다 table로 만들지 고민해 보고, 최신 데이터만 필요하다면 topic의 크기를 retention.ms 등으로 삭제 변경해보는 것도 방법입니다.
토픽의 모든 데이터를 가져온다면 rocksdb 의 크기는 어느 정도로 맞춰야 하나요?