ๅฎ่ทตใงใใใซไฝฟใใKafkaๅ ฅ้
้ๅฐ้ๅฎถใฎๆนใงใ็ฐกๅใซ็่งฃใงใใๅฎๆฆใงใใใซๆดป็จใงใใใKafkaๅ ฅ้ใ่ฌๅบงใไฝใฃใฆใฟใพใใ๏ผ
ๅ่ฌ็ 633ๅ
้ฃๆๅบฆ ๅ็ด
ๅ่ฌๆ้ ็กๅถ้
- ๆช่งฃๆฑบ
๋ฆฌ๋ ํํฐ์ ์ ์ถ ๊ท์น์ ๊ดํ ์ง๋ฌธ
<img src="https://cdn.inflearn.com/public/files/posts/631da043-c1af-448e-a4d7-a9a431e8f846/3983f110-d769-4577-967c-7ee2f4c0e9d7.png" media-type="img"
kafkaEDAmsadevopsinfrastructure์ ๋ฌผํ๊ธฐ-์ข์kukaeden
ใป
1ใถๆๅ
0
50
2
- ๆช่งฃๆฑบ
kafka ์คํจ ํ ์ฌ์๋ DLT ์๋น ๋ฌดํ์ผ๋ก ํ๋ ํ์์ด ๋ฐ์ํฉ๋๋ค
ํ์:์๋์๋ ๋์ผํ๊ฒ ์ด์ ์ฌ๋ ค์ฃผ์ ๋ถ์ด ์๋ ๊ฒ์ผ๋ก ๋ณด์ด๋๋ฐ postman์ผ๋ก ๋ค์๊ณผ ๊ฐ์ด ์์ฒญํ์์ ๋, kafka์์ DLT ์๋นํ๋ ๊ณผ์ ์์ ๋ฌดํ ๋ฐ๋ณตํ
kafkaEDAmsadevopsinfrastructureminchoi95095223
ใป
1ใถๆๅ
1
95
2
- ๆช่งฃๆฑบ
์ง๋ฌธ๋๋ฆฝ๋๋ค.
22๊ฐ [์ค์ต] Spring Boot๋ก Kafka์์ ๋ฉ์์ง ์กฐํํ๊ธฐ(Consumer)๋ฅผ ์ค์ตํ๊ณ ์์์ต๋๋ค.๊ฐ์ฌ๋์ด ์ ๊ณตํ ๋ฐฉ์๊ณผ ๋ค๋ฅด๊ฒ ํด๋ณด๊ณ ์ถ์ด์ ์ด์ ๊ฐ์์์ Producer๋ฅผ ๊ตฌํํ ํ๋ก์ ํธ์ Cons
kafkaไฝๆ่ ใชใ
ใป
2ใถๆๅ
0
42
2
- ๆช่งฃๆฑบ
์๋ชป๋ ์ด๋ฉ์ผ ์ฃผ์๋ก ์ธํด ๋ฐ์ก ์คํจ ์ฝ๋
POSTMAN์to: fail@naver.com ์ผ๋ก ๋ณ
kafkaEDAmsadevopsinfrastructuregnstjrdlsla5350
ใป
2ใถๆๅ
0
90
3
- ่งฃๆฑบ
์นดํ์นด ์๋ฒ ๊ด๋ จ ์ง๋ฌธ์ ๋๋ค.
์๋ ํ์ธ์! ๋ฐฑ์๋ ์ทจ์ ์ค๋น์์ ๋๋ค.ํฌํธํด๋ฆฌ์ค๋ฅผ ์ํด ํ๋ก์ ํธ๋ฅผ ์งํํ๊ณ ์๋๋ฐ, ๊ฐ์์ฒ๋ผ EC2 ํ
kafkaEDAmsadevopsinfrastructureqfwkjfn5pp3875
ใป
4ใถๆๅ
0
78
2
- ๆช่งฃๆฑบ
์ ์๋ ์ง๋ฌธ์ด ์์ต๋๋ค. ์ ๋ฐ๋ก aws ์ค์น ํ์๋์ง ๊ถ๊ธํฉ๋๋ค.
์ ์๋ ์คํ์ผ์ ๋ณดํต ๋ก์ปฌ์์ ์ฐ์ตํ๊ณ ๊ทธ๋ค์ ๋ฐฐํฌ ํ๊ณ ์ค์ต ํ๋ ์คํ์ผ์ด์ จ๋๋ฐ ์ ์นดํ์นด ์์ ์ ๋ฐ๋ก aws๋ก ๊ฐ์๋์ง ๊ถ๊ธํฉ๋๋ค.<img src="https://cdn.inflearn.com/public/f
kafkaEDAmsadevopsinfrastructurerlglxh7247
ใป
4ใถๆๅ
0
86
2
- ๆช่งฃๆฑบ
Kafka ์์ฑ๋ฉ์ธ์ง ๋ธ๋ก์ปค๋ก๋ ์ ํฉํ๊ฐ์?
ํ์ฌ์์ realtime ์์ฑ ์ธ์๊ธฐ ๊ตฌํํ ์ผ์ด ์๊ฒผ๋๋ฐ, ์์ฑ์ ์ฒญํฌ ๋จ์ ํ๋ฅผ ์ด๋ค์์ผ๋ก ๊ด๋ฆฌํ๋์ง ์ฐพ์๋ณด๋ค๊ฐ kafka ๋ฅผ ์๊ฒ๋์ด์์. 10~50๋ช ์ ๋์ ๋์์ ์์๋ผ๊ณ ํ๋ค๋ฉด ์ด๋ค๋ฐฉ์์ ์ฌ์ฉํด์ผํ๋์ง ๊ถ๊ธํฉ๋
kafkaEDAmsadevopsinfrastructurekoreastan6288
ใป
5ใถๆๅ
0
72
2
- ๆช่งฃๆฑบ
์ฌ์๋์กฐ์ฐจ ์คํจํ ๋ฉ์์ง ์ฌํ ์ฒ๋ฆฌํ๊ธฐ
์ฌ์๋์กฐ์ฐจ ์คํจํ ๋ฉ์์ง๋ค์ dlt ๋ก ์ด๋ํ๊ฒ ๋๊ณ ์ด ๋ฉ์์ง๋ค์ ๋ํ ์ฒ๋ฆฌ๋ฅผ ์ํด @KafkaListner ๋ฅผ ์ฌ์ฉํด์ ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ฃผ์ จ๋๋ฐ์. <p sty
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
1
98
2
- ๆช่งฃๆฑบ
retry ์ ๋์๊ณผ์ ์ง๋ฌธ
kafka @RetryableTopic ์ ๋ํด ์์๋ณด๋ค๋ณด๋ ๊ถ๊ธํ์ ์ด ์๊ฒจ ์ง๋ฌธ ๋๋ฆฝ๋๋ค. @
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
0
103
2
- ๆช่งฃๆฑบ
JsonSerializer & JsonDeserializer
์์ ์์๋ StringSerializer ์ StringDeserializer ๋ฅผ ์ฌ์ฉํ๋๋ก ์ค์ ํ๊ณ ObjectMapper ๋ฅผ ํตํด ์ง๋ ฌํ/์ญ์ง๋ ฌํ
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
0
66
2
- ๆช่งฃๆฑบ
auto.create.topics.enable=false ์ค์
๋ฆฌ์์น๋ฅผ ํ๋ค๋ณด๋ ์ค๋ฌด์์๋ auto.create.topics.enable=false ์ค์ ์ ์ฌ์ฉํ๋๊ฒ ์ข๋ค๋ ๊ธ์ ๋ง์ด ๋ณด๊ฒ ๋์์ต๋๋ค. <p style="text-
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
0
82
2
- ๆช่งฃๆฑบ
email ๋ฐ์ก ๋ก์ง ๊ด๋ จ
consumer ์ชฝ์์ ์ด๋ฉ์ผ ๋ฐ์ก ๋ก์ง ๋์ Thread.sleep(3000) ์ ์จ์ฃผ์ จ๋๋ฐ์.์ด ๋ง์, consumer ์ฐ๋ ๋ ์์ฒด์์
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
0
63
2
- ๆช่งฃๆฑบ
concurrency ์ค์ + ๊ฐ์ groupId ๋ด์ consumer ์ฌ๋ฌ๊ฐ
concurrency ๊ด๋ จํ์ฌ ๊ถ๊ธํ์ ์ด ์์ต๋๋ค. ํ๋์ topic (ex. email.send) ์ 5๊ฐ์ ํํฐ์ ์ด ์๋ค๊ณ
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
0
53
2
- ๆช่งฃๆฑบ
concurrency ๋์ ์๋จ
ํ๋์ consumer ์์ concurrency ์ต์ ์ ํตํด ๋ฉํฐ ์ฐ๋ ๋๋ก ๋์์ด ๋๋์ง ํ ์คํธ๋ฅผ ํด๋ดค๋๋ฐ ๊ฐ์ขํ๋ฉด์์์ฒ๋ผ consumer ๊ฐ ๋ฉํฐ์ค๋ ๋๋ก ๋์ํ์ง ์๋๊ฒ ๊ฐ์ต๋๋ค. <ul
kafkaEDAmsadevopsinfrastructurewriter0713
ใป
5ใถๆๅ
0
60
3
- ่งฃๆฑบ
์ปจ์๋จธ ์๋ฒ ์ ์ง์ ๋ฐฐํฌ ์๋๋ฆฌ์ค
์ปจ์๋จธ ์๋ฒ๊ฐ 3๋ ๋ ์์๋ ์ ์ง์ ๋ฐฐํฌ๋ฅผ ์ด๋ค์์ผ๋ก ์งํํ์๋์? ๊ธฐ์กด ์๋ฒ๊ตฐ์ ์ฃฝ์ด๋ฉด ๋ฆฌ๋ฐธ๋ฐ์ฑ ๋๊ฒ ์ง๋ง, ์ ๊ท ๋ฐฐํฌ์ ๋ฌธ์ ๊ฐ ์๊ฒผ๋ค๊ณ ํ๋จ๋ ๋ ์ฆ๊ฐ์ ์ธ ๋กค๋ฐฑ์ด ์๋ ๊ฒ ๊ฐ์๋ฐ์. ์ด๋ค์์ผ๋ก ํ์๋์?
kafkaEDAmsadevopsinfrastructuresy1
ใป
5ใถๆๅ
0
56
2
- ๆช่งฃๆฑบ
Connection -1
<img src="https://cdn.inflearn.com/public/files/posts/8e9ab834-03ed-4e84-a829-c13388f90082/4bf20a11-074a-4ccb-b02f-f1e22117f501.png" media-type="img"
kafkaEDAmsadevopsinfrastructurehjun2306049803
ใป
6ใถๆๅ
0
50
2
- ๆช่งฃๆฑบ
์ ์ ํํฐ์ ๊ฐ์ ๊ณ์ฐํ๋ ๋ฐฉ๋ฒ ์ง๋ฌธ๋๋ฆฝ๋๋ค
์๋ ํ์ธ์ ๊ฐ์ฌ๋ ์ง๋ฌธ์ ์์ฃผ์ฌ๋ฆฌ๋๊ฒ๊ฐ์ ์ฃ์กํ๊ณ ๋ต๋ณ๋ฌ์์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค.pdf์ ๋์จ๊ฒ์ฒ๋ผ ํ๋ก๋์๊ฐ ๋ณด๋ด๋ ๋ฉ์์ง๋์ 120ํ๋์ ์ฐ๋ ๋๊ฐ ์ฒ๋ฆฌํ๋ ๋ฉ์ธ์ง๋ 0.3 ์๊ธฐ์ค์ผ๋ก<b
kafkaEDAmsadevopsinfrastructurenamastae1125663
ใป
6ใถๆๅ
0
109
2
- ๆช่งฃๆฑบ
์น์ 5 33 ์ง๋ฌธ๋๋ฆฝ๋๋ค
์๋ ํ์ธ์ ๊ฐ์ฌ๋์ง๊ธ์ ์ํ ํ๋ก์ ํธ๋ผ ํ๋์ ์ปจ์๋จธ ์๋ฒ์์ํํฐ์ 3๊ฐ๋ฅผ ์ฒ๋ฆฌํ๊ณ ์๋๋ฐ๋ง์ฝ email.send topic๊ธฐ์ค์ผ๋ก ํํฐ์ ์ 5๊ฐ ์์ฑํ์๋ ์ปจ์๋จธ ์๋ฒ๋ 5๊ฐ๋ฅผ ๋์ฐ๋๊ฒ
kafkaEDAmsadevopsinfrastructurenamastae1125663
ใป
6ใถๆๅ
0
41
1
- ๆช่งฃๆฑบ
aws์๋ ๋์ปค๋ก๋ ์๋๋์?
aws ์ธ์คํด์ค ์ข ๋ฃ๋ฅผ ํ๋ ๊ฒฝ์ฐ ํผ๋ธ๋ฆญ ip๊ฐ ๋ฐ๋์ด proeprties๋ด์ฉ์ ๋ณ๊ฒฝํด์ผํ๋ ์ํฉ์ด ๊ณ์ ๋ฐ์ํ๋๋ฐ ๋์ปค๋ก ์งํํด๋ ๊ฐ์ ์๊ฐ์ ์ง์ฅ์์๊น์?
kafkaEDAmsadevopsinfrastructureskyjoon24931
ใป
6ใถๆๅ
0
91
2
- ๆช่งฃๆฑบ
ํํฐ์ ์ฆ๊ฐ ์ง๋ฌธ๋๋ฆฝ๋๋ค
์๋ ํ์ธ์ ๊ฐ์ฌ๋ํํฐ์ ์๊ฒฝ์ฐ ์ค์ผ์ ์๋ค๊ณ ์ค๋ช ํด์ฃผ์ จ๋๋ฐ๋ง์ฝ ์๋ก๋ค์ด ์ค๋ฌด์์ ํ๋์ ํ ํฝ ๊ธฐ์ค์ผ๋ก 3๊ฐ์ ํํฐ์ ์ผ๋ก ์์ ๋์ค ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋์ด ๋ง์์ ธ์ ๋์ด ์์ด๋๊ฑธ ํ์ธํ์๋ํํฐ์ ์
kafkaEDAmsadevopsinfrastructurenamastae1125663
ใป
6ใถๆๅ
0
68
2

