์นดํ์นด ์๋ฒฝ ๊ฐ์ด๋ - ksqlDB
๋ณธ ๊ฐ์๋ ksqlDB์ ํ์ฉ๊ณผ ํต์ฌ ๋ฉ์ปค๋์ฆ์ ๋ค์ํ ์ค์ต์ ํตํด ์ตํ ์ ์๊ฒ ๊ตฌ์ฑ๋์ด ์์ต๋๋ค. ๊ฐ์๋ฅผ ๋ง์น๊ณ ๋๋ฉด ์ฌ๋ฌ๋ถ์ Kafka(์นดํ์นด) ๊ธฐ๋ฐ์ ์ค์๊ฐ Streaming ๋ฐ์ดํฐ ๋ถ์ ์์คํ ์ ์ฝ๊ณ ๋น ๋ฅด๊ฒ ๊ตฌ์ถํ์ค ์ ์๊ฒ ๋ฉ๋๋ค.
์๊ฐ์ 372๋ช
๋์ด๋ ์ค๊ธ์ด์
์๊ฐ๊ธฐํ ๋ฌด์ ํ

- ๋ฏธํด๊ฒฐ
Ksqldb.io ๊ฐ confluent.io ๋ก ๋ฆฌ๋ค์ด๋ ์ ๋์
์๋ ํ์ธ์ ๋ค๋ฆ์ด ์๋๊ณ ksql ํ์ฉ ์ธ์ ์์ ksqldb.io ์น์ฌ์ด
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbMinKyu Song
ใป
2๋ฌ ์
0
42
2
- ๋ฏธํด๊ฒฐ
๋ณตํฉํค ๋์ฝ๋ฉ ์ค๋ฅ ์ง๋ฌธ๋๋ฆฝ๋๋ค.
์๋ ํ์ธ์ ๊ฐ์ฌ๋. ์ข์ ๊ฐ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ํญ์ ๊ฐ์ ์๋ฃ๊ณ ์์ต๋๋ค ๐<p style="text-align: le
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbkangplay
ใป
6๋ฌ ์
0
63
2
- ๋ฏธํด๊ฒฐ
Table์ ์ํ(Stateful) ๊ด๋ฆฌ ์ง๋ฌธ
์๋ ํ์ธ์.Table์ ์ํ(Stateful) ๊ด๋ฆฌ ๊ฐ์์์Table์ ์์ฑํ๊ณ ๋์ผ key ๊ฐ์ผ๋ก in
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbchanboklee
ใป
์ผ ๋ ์
0
96
2
- ํด๊ฒฐ
์น์ 10 ๊ด๋ จ ๊ฐ์์๋ฃ
์๋ ํ์ธ์. ์น์ 10์ KSQLDB์ Connect ์ฒซ ๊ฐ์ 1์ด์ง๋ฆฌ์ ๊ฐ์๊ฐ ์กด์ฌํ๋ ์ด์ ๊ฐ ๊ฐ์ ์๋ฃ ํ์ผ ๊ณต์ ๋ฅผ ์ํด์ ์๋ ๊ฒ์ผ๋ก ์ ์ถ๋๋๋ฐ ์๋ฌด๊ฒ๋ ์๋ ๋น ๋ฆฌ์คํธ๋ค์. ํน์ ์ ๊ฐ ๋ญ๊ฐ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldblogt
ใป
0
170
2
- ํด๊ฒฐ
Compact Topic์ ๋ํ์ฌ
์๋ ํ์ธ์ ํญ์ ์ข์ ๊ฐ์ ํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค.๋ค๋ฆ์ด ์๋๋ผ ์ ๊ฐ ํ๋ก์ ํธ ์ค์ ์ ์ ๊ฐ ์๋ฆผ ์ค์ ํ ๋ฐ์ดํฐ๋ฅผ kafka๋ก ๋ฐ์์ ์์ธ ๋ฐ์ดํฐ์ ์กฐ์ธํ์ฌ<p
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbํ๋ณตํ ์กฑ์ ๋น
ใป
0
193
2
- ๋ฏธํด๊ฒฐ
์์คํ ํ์์กด๊ณผ ์นดํ์นด Stream ํ์์กด์ด ๋ถ์ผ์นํฉ๋๋ค.
์นดํ์นด ํ์์กด์ ๋ค์๊ณผ ๊ฐ์ด 9์๊ฐ ์ ์ธ ์๊ฐ์ธ ๋ฐ์ดํฐ๊ฐ ๋ค์ด์ค๊ณ ์์ต๋๋ค. <img src="https://cdn.inflearn.com/public/files/posts/8b9822eb-4fb8-46aa-85bc-71653d99179
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldb์ด์์
ใป
0
140
1
- ๋ฏธํด๊ฒฐ
ksql DB ์๋ฒ๋ฅผ ์ฌ๋ฆด๋ ์๋์ ๊ฐ์ด ์๋ฌ ๋ฐ์
๊ธฐ๋ ๋ก๊ทธ======[2025-01-18 01:45:25,945] ERROR Could not submit metrics to Confluent: <a target="_blank" rel="noopener noreferrer nofollo
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldb์ด์์
ใป
0
142
2
- ๋ฏธํด๊ฒฐ
์คํธ๋ฆผ, ํ ์ด๋ธ ์์ฑ์ ๋ฐ์ดํฐ ๊ด๋ จ ๋ฌธ์
์คํธ๋ฆผ ํน์ ํ ์ด๋ธ ์์ฑ ํ๋ ์์ ๋ถํฐ ํ ํฝ์ ๋ฐ์ดํฐ๋ฅผ ์คํธ๋ฆผ, ํ ์ด๋ธ์ ์ธ์ ์ํค๋๊ฑด๊ฐ์? ํน์ ์์ฑ์ ํ ํฝ์ ์ ์ฌ๋ ๋ชจ๋ ๋ฐ์ดํฐ์ ๋ํด ์ธ์ ์ํค๋๊ฑด๊ฐ์? ์คํธ๋ฆผ, ํ ์ด๋ธ ์์ฑ ์์ ์ ์คํ์ ์ด๋, earliest, latest ์ ๊ฐ์
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbGoboo
ใป
0
207
1
- ๋ฏธํด๊ฒฐ
ํธ์ ์ฟผ๋ฆฌ ์ข ๋ฃ ๋ฐฉ๋ฒ์ ๋ํด ๋ฌธ์ ๋๋ฆฝ๋๋ค.
ํธ์ ์ฟผ๋ฆฌ์ ๊ฒฝ์ฐ ์ข ๋ฃ ์๊ทธ๋์ ์ฃผ์ง์์ผ๋ฉด ์ฟผ๋ฆฌ๊ฐ ์ข ๋ฃ ๋์ง ์๋๋ค๊ณ ํ์ จ๋๋ฐ์.๋์ผํ ์ฟผ๋ฆฌ๋ฅผ ์คํ์ค์ธ ์ธ์คํด์ค๊ฐ ์ฌ๋ฌ๋ ์ผ ๊ฒฝ์ฐ api ๋ฅผ ์ฌ์ฉํ์ฌ ์ฟผ๋ฆฌ๊ฐ ์ข ๋ฃ ๋๋๋ก ํ๋ ค๋ฉด ๊ฐ ์ธ์คํด์ค๋ค์ ๊ฐ๊ฐ ํธ์ถ ํด์ผ ํ๋๊ฑด๊ฐ์?๊ทธ๋ฆฌ๊ณ ์คํธ๋ฆผ์ ๋
kafkaksqldbstreamGoboo
ใป
0
192
1
- ๋ฏธํด๊ฒฐ
table์ ๋ฐ์ดํฐ๊ฐ ์ค์๊ฐ์ผ๋ก topic์ ๋ด๊ธฐ์ง ์์ต๋๋ค
mysql์ debezium source connector๋ก topic์ ๊ฐ์ ธ์จ ๋ฐ์ดํฐ๋ฅผ ๋ฐ๋ stream์ ๋ง๋ค๊ณ ๊ทธ stream์ ๊ธฐ๋ฐ์ผ๋ก ํ์ฌCREATE TABLE timeout WITH (KAFKA_TOPIC='time
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbํ๋ณตํ ์กฑ์ ๋น
ใป
0
222
1
- ํด๊ฒฐ
debezium์์ ksqldb๋ก
์ ๊ฐ ๊ตฌ์ํ๊ณ ์๋ ๊ตฌ์กฐ๊ฐ mysql์์ debezium source connector๊ฐ topic์ ๋๊ธฐ๊ณ ksqldb์ streams๋ table๋ก ์ฌ๊ตฌ์ฑํ์ฌ ๋ค๋ฅธ topic์ผ๋ก ๋๊ธด
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbํ๋ณตํ ์กฑ์ ๋น
ใป
0
243
2
- ํด๊ฒฐ
CLI๋ก ์คํ๊ณผ ์ฝ๋๋ก ์คํํ๋ฉด ๊ฒฐ๊ณผ๊ฐ ๋ค๋ฅด๊ฒ ๋์ต๋๋ค
CREATE STREAM add_stream WITH (KAFKA_TOPIC='column_stream_topic', VALUE_FORMAT='JSON') AS SELECT *, CAST(NULL AS INT) AS new_column FROM te
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbํ๋ณตํ ์กฑ์ ๋น
ใป
1
167
1
- ๋ฏธํด๊ฒฐ
ksqldb๋ workbench์ฒ๋ผ ui๋ ์์๊น์?
ksql๊ฐ์๋ฅผ ์๊ฐํ๋ฉด์..cli๋ก๋ง ๋ช ๋ น์ ์ํํ์๋๊ฑธ ๋ณด๊ณ ksql ui๊ฐ ์กด์ฌํ๋์ง ์ฐพ์๋ณด์๋๋ฐ! ์ฐพ์ง๋ชปํ๊ฑด์ง ์๋๊ฑด์ง ํ์คํ์ง์์ ์ง๋ฌธ์ ๋จ๊น๋๋ค.
ksqldb๊ฐ๋ณด์!!
ใป
0
302
2
- ๋ฏธํด๊ฒฐ
Pull ์ฟผ๋ฆฌ ์ ์ฝ์ ๋ํ ์ด์
์๋ ํ์ธ์,๊ฐ์ ๋ด์ฉ ์ค table์ ๋ํด์ source๋ฅผ topic์ผ๋ก ํ๋ ๊ฒฝ์ฐ pull ์ฟผ๋ฆฌ๊ฐ ๋ถ๊ฐ๋ฅ ํ ์ด์ ์ ๋ํด ๊ฐ์ฌ๋๊ป์ ๊ตฌ์ฒด์ ์ผ๋ก ํ์ธ์ด ๋์ง ์์์ง๋ง rocksdb ์ด์๋ก ์ถ์ ๋๋ค๋ผ๊ณ ๋ง์ํ์ ๊ฒ ๊ฐ์๋ฐ์, </p
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldb์ด๋ฌด
ใป
0
213
1
- ํด๊ฒฐ
IoT Event Streaming ์ ์ฉ์ ๋ํด์
์๋ ํ์ธ์. IoT Device๋ค์ ๋ฐ์ดํฐ๋ฅผ ๋ฐ์์ ๊ฐ๋ค์ด ์กฐ๊ฑด์ ๋ง์กฑํ๋ฉด ์ด๋ฒคํธ๋ฅผ ๋ฐ์์ํค๋ ๊ฐ๋ฐ์ ๋ฌด์ ์์ต๋๋ค. ๊ทธ๋์ streaming ๋ถ์์๋ฃจ์ ์ ์ฐพ๋๋์ค ksqlDB๊ด๋ จ์ ์ ํ๊ฒ๋์์ต๋๋ค. ๊ฐ์
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbํ์คํฐ
ใป
0
206
1
- ๋ฏธํด๊ฒฐ
[์์ ์์ฒญ] Join์ดํด ์ค select inner join a.user_id ์์ ํ์
์๋ ํ์ธ์.. ์๊ฐ ํ๋ฉด์ ํ๋ค ๋ณด๋, ๋ณธ์ ์๋๊ฒ ์์ ์ฌํญ์ด ๋ณด์ ๋๋ค.KSQLDB/Join ์ดํด ์ค์ select์ ์์ <a target="_blank" rel="noopener noreferrer nofollow" href="http://a.id
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbByungjin Lee
ใป
0
267
2
- ํด๊ฒฐ
์ค๋ฌด์์ ์นดํ์นด ํ๊ฒฝ ๊ตฌ์ถ
์๋ ํ์ธ์,๋ฌธ๋ ์ค๋ฌด์์ ์นดํ์นด ํด๋ฌ์คํฐ ํ๊ฒฝ ๊ตฌ์ถ์ ๋ํด ๊ถ๊ธํ ์ ์ด ์๊ฒผ์ต๋๋ค. ๊ฐ์ฌ๋๊ป์ ์งํํ์ ๋ฐฉ๋ฒ์ confluent์ ์นดํ์นด ํ๋ก์ ํธ๋ฅผ ํ๋์ ๋ ธ๋์ ์ง์ ๋ค์ด๋ฐ์์ ์ฃผํคํผ, ๋ธ๋ก์ปค ๊ธฐ๋๋ ํ๊ณ ksql-
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldb์ด๋ฌด
ใป
0
524
2
- ๋ฏธํด๊ฒฐ
[์์ ์์ฒญ] Mview CSAS ๊ฐ์ข์ค์ Insert๋ฌธ์ฅ ์์ ์์ฒญ
์๋ ํ์ธ์. ๊ฐ์ข๋ฅผ ์๊ฐ ํ๋ค๊ฐ, ๊ฐ์ ๋ด์ฉ์ค Mview CSAS ์์, customer_activeity_stream insert ๋ฌธ์ฅ์ด ๊ฐ์ ๋ด์ฉ๊ณผ ๋ค๋ฅด๊ณ , ์นผ๋ผ์ด ๋ฌ๋ผ์ ์๋ฌ ๋ฐ์ ํฉ๋๋ค. activety_id ์์ต๋๋ค.
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldbByungjin Lee
ใป
0
245
1
- ๋ฏธํด๊ฒฐ
inner join , outer join
์๋ ํ์ธ์, join query๋ฅผ ๋ณด๋ฉดleft join์ด๋ผ๊ณ ์์ฑํ ๊ฒฝ์ฐ outer join์ผ๋ก ์ ์ฉ๋๊ณ ,๊ทธ๋ฅ join์ inner join์ผ๋ก ์ ์ฉ๋๋ ๊ฒ ๊ฐ์๋ฐ ksqldb์ ๊ธฐ๋ณธ join
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldb์ด๋ฌด
ใป
0
196
1
- ๋ฏธํด๊ฒฐ
group by ๋ฆฌํํฐ์ ์ ๋ํ ์ง๋ฌธ
์๋ ํ์ธ์, ๋ง์ฝ group by์ ๊ฒฝ์ฐ ์ผ๋ฐ ์ปฌ๋ผ์ ์ง์ ํด์ ๋ฆฌํํฐ์ ์ด ๋์๋ค๋ฉด ํด๋น source topic ๋ ์ฝ๋๋ฅผ ์กฐํํ๋ฉด ๊ทธ ๋๋ถํฐ key๊ฐ์ group by๋ก ์ง์ ํ ์ผ๋ฐ ์ปฌ๋ผ์ด key๋ก ๋์ค๊ฒ ๋๋๊ฑด๊ฐ์?&
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งksqldb์ด๋ฌด
ใป
0
236
1






