inflearn logo
강의

Course

Instructor

Kafka Complete Guide - ksqlDB

Pull Query Constraints in Stream

Pull 쿼리 제약에 대한 이유

218

imukun

58 asked

0

안녕하세요,

강의 내용 중 table에 대해서 source를 topic으로 하는 경우 pull 쿼리가 불가능 한 이유에 대해 강사님께서 구체적으로 확인이 되지 않았지만 rocksdb 이슈로 추정된다라고 말씀하신 것 같은데요,

 

혹시 아래의 이유가 아닐 지 확인 부탁드립니다.

 

https://docs.ksqldb.io/en/latest/concepts/materialized-views/

In ksqlDB, a table can be materialized into a view or not. If a table is created directly on top of a Kafka topic, it's not materialized. Non-materialized tables can't be queried, because they would be highly inefficient. On the other hand, if a table is derived from another collection, ksqlDB materializes its results, and you can make queries against it.

 

document에 따르면 source가 topic인 table의 경우는 mview가 아니라고 하는 것 같습니다.

(mview가 아니기 때문에 비효율적이다.)

 

그렇다면 이 경우는 rocksdb를 통해 stateful한 결과를 저장한 뒤 가져오는 것이 아닌 토픽으로부터 전체 레코드를 읽어와서 compact한 처리를 하는 케이스라고 볼 수 있을 것 같습니다.

 

즉, source가 topic인 케이스는 오히려 rocksdb를 사용하지 않는 케이스이기 때문에 그런 것이 아닐까 추측이 되는데요 어떻게 생각하시는지 궁금합니다.

 

 

 

kafka 데이터-엔지니어링 ksqldb

Answer 1

1

dooleyz3525

안녕하십니까.

네 말씀하신바와 비슷합니다.

Topic을 바로 소스로 해서 table을 적용하기에는 너무 연산비용이 많이들고 그렇다고 rocksdb 에서 바로 관리하려고 해도 어쩠든 메모리나 추가적인 데이타용량이 너무 많이 들어서 아예 기능구현을 제한한거로 추정됩니다.

감사합니다

Ksqldb.io 가 confluent.io 로 리다이렉션 되요

0

49

2

복합키 디코딩 오류 질문드립니다.

0

75

2

Table의 상태(Stateful) 관리 질문

0

102

2

섹션 10 관련 강의자료

0

182

2

Compact Topic에 대하여

0

206

2

시스템 타임존과 카프카 Stream 타임존이 불일치합니다.

0

143

1

ksql DB 서버를 올릴떄 아래와 같이 에러 발생

0

147

2

스트림, 테이블 생성시 데이터 관련 문의

0

216

1

푸시 쿼리 종료 방법에 대해 문의 드립니다.

0

195

1

table의 데이터가 실시간으로 topic에 담기지 않습니다

0

226

1

debezium에서 ksqldb로

0

254

2

CLI로 실행과 코드로 실행하면 결과가 다르게 나옵니다

1

177

1

ksqldb는 workbench처럼 ui는 없을까요?

0

309

2

IoT Event Streaming 적용에 대해서

0

210

1

[수정요청] Join이해 중 select inner join a.user_id 수정 필요

0

273

2

실무에서 카프카 환경 구축

0

533

2

[수정요청] Mview CSAS 강좌중에 Insert문장 수정 요청

0

248

1

inner join , outer join

0

199

1

group by 리파티션에 대한 질문

0

241

1

ksqldb timestamp 타입 질문

0

245

1

stream format 관련 질문

0

271

1

전통적 분석 시스템 한계에 대해 질문있습니다.

0

277

1

AWS 에서 confluent kafka 와 apache kafka 차이가 궁금 합니다.

0

1688

2

ksqlDB Cluster 여부 - 박성범님 질문(제가 대신해서 적습니다)

0

669

2