์นดํ์นด ์๋ฒฝ ๊ฐ์ด๋ - ์ฝ์ดํธ
์นดํ์นด(Kafka)์ ํต์ฌ๋ถํฐ ๋ด๋ถ ๋ฉ์ปค๋์ฆ์ ๋ํ ์ฌํ ์์ค์ ๋ด์ฉ๊น์ง, ์์ธํ ์ด๋ก ์ค๋ช ๊ณผ ํธ์ฆ์จ ์ค์ต & ์ค์ ์นดํ์นด ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ์ค์ต์ ํตํด ์นดํ์นด๋ฅผ ์์ํ๋ ์ฌ๋๋ ๋จ์จ์ ์ ๋ฌธ๊ฐ ๋ ๋ฒจ๋ก ๋๋ฌํ ์ ์๋๋ก ๊ฐ์๋ฅผ ๊ตฌ์ฑํ์ต๋๋ค.
์๊ฐ์ 1,938๋ช
๋์ด๋ ์ค๊ธ์ด์
์๊ฐ๊ธฐํ ๋ฌด์ ํ

- ๋ฏธํด๊ฒฐ
virtual box ์ค์น ๋ฌธ์
์๋ ํ์ธ์. ํ์ฌ ์ค๋ ๋๋๊ณค (arm64 windows)์ฌ์ฉ ์ ์ ์ธ๋ฐ ์ด ํ๋ฉด์์ ์์ ์๋ฉ๋๋ค. ์ผ๋จ ์ค์ ์ IDE์ด๋ผ๋๊ฒ์ด ์กด์ฌํ์ง ์๊ณ ์ถ๊ฐํ๋ ค๊ณ ํด๋ ๋ชฉ๋ก์ ์์ต๋๋ค. ์ฌ์ค์น๋ฅผ 2๋ฒ์ ํด๋ดค๋๋ฐ๋ ์๋๋ค์ใ edi
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งIwantKtor
ใป
2๋ฌ ์
0
81
2
- ๋ฏธํด๊ฒฐ
์นดํ์นด ์๋ฒ ๊ตฌ์ถ ๊ด๋ จ ๋ฌธ์
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งํ๋ฉ
ใป
2๋ฌ ์
0
80
2
- ๋ฏธํด๊ฒฐ
์นดํ์นด ํ ํฝ Key ํ์ ๋ณ๊ฒฝ์ ๊ดํ ์ง๋ฌธ
์๋ ํ์ธ์~ ์นดํ์นด ์ค์ต ์ค Key ๋ฅผ String โ Integer ๋ก ๋ณ๊ฒฝํ ๊ฒฝ์ฐ, console consumer ์์๋ key dese
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งkokoxg2
ใป
6๋ฌ ์
0
79
2
- ํด๊ฒฐ
Zookeeper์์ KRaft
์๋ ํ์ธ์ํ์ฌ Kafka์์๋ Zookeeper๋ฅผ ์ต์ ๋ฒ์ ผ์ ๋ ์ด์ ์ง์ํ์ง์์์ ํน์ KRaft๋ด์ฉ์ ๊ฐ์๋ ์ถ๊ฐ๋ ์์ ์ด ์์๊น์? ๊ฐ์ฌ๋๊ป์ ํด์ฃผ์๋ KRaft ๊ฐ์๊ฐ ๋ฃ๊ณ ์ถ๋ค์ ใ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งํ๋ณตํ ์กฑ์ ๋น
ใป
7๋ฌ ์
0
85
1
- ๋ฏธํด๊ฒฐ
์นดํ์นด ํ์ต๊ณผ ๊ด๋ จํ์ฌ ์ง๋ฌธ ๋๋ฆฝ๋๋ค
์ต๊ทผ ์นดํ์นด ๋ฒ์ ์์ ๋ zookeeper ๊ฐ ์๋ KRaft ๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ผ๋ก ๋ฐ๋๋ ๋ฑ ๋ช๊ฐ์ง ์ฐจ์ด์ ์ด ์๋๋ฐ ๊ฐ์ ๋ด์ฉ์ผ๋ก ํ์ตํ ํ ๋ณํ๋ ๋ฒ์ ์ ๋ง์ถฐ์ ๋ณ๊ฒฝํ ๋ ๋ฌ๋์ปค๋ธ๊ฐ ์ด๋ ์ ๋๊ฐ ๋ ์ง ๊ถ๊ธํฉ๋๋ค
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง๋ฐฐ๊ฐ๊ณ ํ๋ค
ใป
8๋ฌ ์
0
109
2
- ๋ฏธํด๊ฒฐ
ํํฐ์ ์ฆ๊ฐ์ ๋น์ฉ ์ฆ๊ฐ ๊ณ ๋ ค
์ฑ๋ฅ์ ๋นํด ์ฉ๋ ์ฆ๊ฐ๊ฐ ์ ๋ ดํ๊ธฐ๋๋ฌธ์ ํํฐ์ ์ฆ๊ฐ๊ฐ ๊ทน๋จ์ ์ด์ง๋ง ์๋ค๋ฉด ํญ์ ์ ๋ฆฌํ ๊น์?ํํฐ์ ์ ์ฆ๊ฐ์ํค๋ฉด ํ ํฝ์ ์ฌ์ฑ์ฑํ์ง ์์ผ๋ฉด ๋ค์ ์ค์ผ์ ์๋ ๊ฒ์ผ๋ก ์ดํดํ์ต๋๋ค.๊ทธ๋ฐ๋ฐ ์ค๋ฌด์์ ์ฑ๋ฅ๊ณผ ๋น์ฉ ๋ฌธ์
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งkkhkr98
ใป
8๋ฌ ์
0
80
2
- ๋ฏธํด๊ฒฐ
Kafka ์ด๊ธฐ Partition ๊ฐ์ ์ค์ ๊ด๋ จ ์ง๋ฌธ
์ข์ ๊ฐ์๋ฅผ ์ ๊ณตํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค.Kafka๋ฅผ ์ฒ์ ์ค์ ํ ๋ Partition ๊ฐ์๋ฅผ 1๊ฐ๋ก ๋๊ณ ์ถํ ํ์ฅํ๋ ๋ฐฉ์์ด ์ผ๋ฐ์ ์ธ๊ฐ์?์๋๋ฉด ์ด๊ธฐ์ ์ ์
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง๊ณ ์
ใป
8๋ฌ ์
0
93
2
- ๋ฏธํด๊ฒฐ
VM ๊ณผ ๋์ปค์ ์ฐจ์ด
์๋ ํ์ธ์. ๊ฐ์ ์๊ฐ ์ค ๊ถ๊ธํ๊ฒ ์์ด์ ์ง๋ฌธ ๋จ๊น๋๋ค.๊ฐ์๋ VM ์ Ubuntu ์ kafka ๋ฅผ ์ค์นํ๋ ๊ฒ์ผ๋ก ์งํ๋๋๋ฐ, Docker ๋ฅผ ์ฌ์ฉํ๋ ๊ฒ๊ณผ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งํ๋
ใป
8๋ฌ ์
0
150
2
- ๋ฏธํด๊ฒฐ
vm ์ด๋ํฐ์ค์ ๋ฌธ์
์๋ ํ์ธ์ ๊ฐ์ฌ๋,๋คํธ์ํฌ ์ค์ ์ ํ๋ ค๊ณ ํฉ๋๋ค.NAT์์ด ์ด๋ํฐ1์์๋ง ํธ์คํธ์ ์ฉ์ด๋ํฐ</c
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง์ฐฝ์ ๋ ์ฅ์ฒธ
ใป
8๋ฌ ์
0
86
2
- ํด๊ฒฐ
Cooperative Sticky Rebalancing ์ง๋ฌธ
์๋ ํ์ธ์.Cooperative Sticky Rebalancingํ ๋์ปจ์๋จธ 3๋ง reassign reb
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งHAHA
ใป
9๋ฌ ์
0
62
2
- ํด๊ฒฐ
consumer ์ค์ ์ง๋ฌธ
์๋ ํ์ธ์.Consumer Fetcher๊ด๋ จ ์ฃผ์ ํ๋ผ๋ฏธํฐ์ Fetcher ๋ฉ์ปค๋์ฆ์ ์ดํด ๊ฐ์ 5:03์์ ๋ง๋ ํํฐ์ ฉ๋ 10๊ฐ ์์ผ๋ฉด ์ต๋ 10MB ๊ฐ์ ธ์ฌ ์
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งHAHA
ใป
9๋ฌ ์
0
78
2
- ํด๊ฒฐ
consumer.poll ์ง๋ฌธ์ ๋๋ค.
์๋ ํ์ธ์.consumer.poll ๊ด๋ จํด์ ๊ถ๊ธํ ์ ์ด ์๊ฒจ ์ง๋ฌธ๋๋ฆฝ๋๋ค. <p sty
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งHAHA
ใป
9๋ฌ ์
1
75
2
- ๋ฏธํด๊ฒฐ
mainThread.join() ๊ด๋ จ ์ง๋ฌธ
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง์ด์ข ํ
ใป
9๋ฌ ์
0
61
2
- ํด๊ฒฐ
๋ฌธ์
ํน์ ์์ ์ ๊ตฌ๋งคํ๊ณ ๋์ค์ ๋ค์ด์ผ์ง ํ์ง๋งํ์ง๋ง ํด๋น ๊ธฐ์ ์ด ์ ์๊ฒ ํ์ ์์ด์ง๊ณ <p
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งkkkkkk
ใป
10๋ฌ ์
0
161
2
- ํด๊ฒฐ
๋ฉํฐ ๋ธ๋ก์ปค ์ค์ ์ค ํฌํธ ์ถฉ๋ ๋ฐ์
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง๋จ์คํฐ
ใป
์ผ ๋ ์
0
124
2
- ๋ฏธํด๊ฒฐ
Consumer Group ๊ฐ์ Lag ์ง๋ฌธ์์ต๋๋ค!
kafka-consumer-groups ๋ช ๋ น์ด๋ก Consumer Group๊ณผ Consumer, Lag ์ ๋ณด ํ์ธํ๊ธฐ ๊ฐ์ ๋ฃ๋ค๊ฐ ์ง๋ฌธ์ด ์๊ฒผ์ต๋๋ค! <p style="
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งohk9134
ใป
0
114
2
- ๋ฏธํด๊ฒฐ
๊ฐ์ ์ค๋ช ๋ฐ ์ฝ๋ ์ ๋ฆฌ
์๋ ํ์ธ์ ๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค. ๋ค๋ฆ์ด ์๋๋ผ ์ ์์ ์ ๋ชฉ์ ์ด ์๋ ์ ๊ฐ์ธ github์ ์ ๋ฆฌ ํ๋ คํ๋๋ฐ ์์ค์ฝ๋๋ผ๋์ง ๊ฐ์์
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง๊น๋ํ
ใป
0
184
2
- ๋ฏธํด๊ฒฐ
์ค์ต ์ฝ๋๋ ์ด๋์ ๋ฐ๋์.. ์๋ฌด๋ฆฌ ์ฐพ์๋ ์๋ค์..
์ค์ต ์ฝ๋๋ ์ด๋์ ๋ฐ๋์.. ์๋ฌด๋ฆฌ ์ฐพ์๋ ์๋ค์..
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งjiyounglim
ใป
0
160
1
- ๋ฏธํด๊ฒฐ
java.nio.BufferUnderflowException ์๋ฌ ๋ฐ์ํฉ๋๋ค..
์๋ ํ์ธ์ ํด๋น ๊ฐ์๋ฃ๊ณ ์๋๋ฐJava ๊ธฐ๋ฐ์์ Producer ๊ตฌํํ๊ธฐ02๋ฅผ ๋ณด๊ณ <p style="text-align: left
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง์์์ค
ใป
0
168
3
- ๋ฏธํด๊ฒฐ
KafkaTimeoutError:
์๋ ํ์ธ์ ๊ฐ๋ฐ์๋ KafkaTimeoutError: Failed to update <p style="text
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง๊น๋์
ใป
0
162
2






