์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

ํ•ต์‹ฌ๋งŒ ๋น ๋ฅด๊ฒŒ ๋๋‚ด๋Š” ์‹ค์ „ ์นดํ”„์นด(kafka)

sw ๊ฐœ๋ฐœ์ž๊ฐ€ ์•Œ์•„์•ผํ•  ์นดํ”„์นด ํ™œ์šฉ์„ ์œ„ํ•œ ๊ธฐ์ดˆ/ํ•„์ˆ˜/์‹ค์ „ ์ง€์‹ ๋ฐฐ์›๋‹ˆ๋‹ค. springboot๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์นดํ”„์นด์™€ ์—ฐ๋™ํ•˜๊ณ  ๋‹ค์–‘ํ•œ ์‹ค์ „ ์ƒํ™ฉ์— ๋งž๋Š” ๋ฉ”์‹œ์ง€ ์†ก/์ˆ˜์‹  ์‹ค์Šต์„ ์ง„ํ–‰ํ•ฉ๋‹ˆ๋‹ค.

(5.0) ์ˆ˜๊ฐ•ํ‰ 2๊ฐœ

์ˆ˜๊ฐ•์ƒ 35๋ช…

๋‚œ์ด๋„ ์ž…๋ฌธ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

์นดํ”„์นด
์นดํ”„์นด
springboot
springboot
์‹ค์‹œ๊ฐ„
์‹ค์‹œ๊ฐ„
์นดํ”„์นด
์นดํ”„์นด
springboot
springboot
์‹ค์‹œ๊ฐ„
์‹ค์‹œ๊ฐ„

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • sw ๊ฐœ๋ฐœ์ž๊ฐ€ ์•Œ์•„์•ผํ•  ์นดํ”„์นด ๊ธฐ์ดˆ/ํ•„์ˆ˜/์‹ค์ „ ์ง€์‹

  • ๋กœ๊ทธ์ˆ˜์ง‘, msa, ์‹ค์‹œ๊ฐ„์ฑ„ํŒ…์„œ๋ฒ„ ๋“ฑ ์นดํ”„์นด๋ฅผ ์‹ค์ „์—์„œ ํ™œ์šฉํ•˜๊ธฐ ์œ„ํ•œ ์ง€์‹ ์Šต๋“

  • SpringBoot ๊ธฐ๋ฐ˜ ์นดํ”„์นด ์—ฐ๋™ ๋ฐ ๋ฉ”์‹œ์ง€ ์†ก์ˆ˜์‹  ๊ตฌํ˜„ ๋Šฅ๋ ฅ

ํ•ต์‹ฌ๋งŒ ๋น ๋ฅด๊ฒŒ ๋๋‚ด๋Š” ์‹ค์ „ ์นดํ”„์นด(kafka)

1. ์ˆ˜์—…์ž๋ฃŒ ๋ฐ ์ฃผ์˜์‚ฌํ•ญ ๐Ÿ“ข

  • ์ฃผ์˜์‚ฌํ•ญ

    • ๋ณธ ์ˆ˜์—…์€ ์นดํ”„์นด ์ธํ”„๋ผ ๊ตฌ์„ฑ/๊ด€๋ฆฌ์ ์ธ ์ธก๋ฉด๋ณด๋‹ค๋Š” sw๊ฐœ๋ฐœ์ž์˜ kafka์‚ฌ์šฉ์‹œ ์•Œ์•„์•ผํ•  ํ•ต์‹ฌ ์ง€์‹ ์œ„์ฃผ๋กœ ์ˆ˜์—…์ด ์ง„ํ–‰๋ฉ๋‹ˆ๋‹ค.

    • ํ•ต์‹ฌ ์ง€์‹์— ๋Œ€ํ•œ ์ด๋ก  ์„ค๋ช…, docker๋ฅผ ํ†ตํ•œ kafka์„ค์น˜, springboot๋ฅผ ํ™œ์šฉํ•œ ์‹ค์Šต์ด ์ง„ํ–‰๋ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ spring ์‹คํ–‰๊ณผ ์„ค์ •์€ ๊ฐ„๋‹จํ•˜๋ฏ€๋กœ, spring ์‚ฌ์šฉ์—ฌ๋ถ€๋Š” ์ค‘์š”์น˜ ์•Š์Šต๋‹ˆ๋‹ค.


    • kafka connect, kafka streams, ์—์ด๋ธŒ๋กœ(avro)์— ๋Œ€ํ•ด์„œ๋Š” ์ด๋ก ์ ์ธ ๋‚ด์šฉ๋งŒ ๋‹ค๋ฃจ๊ณ , ์‹ค์Šต์€ ์ด๋ฃจ์–ด์ง€์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

  • ์ˆ˜์—…์ž๋ฃŒ

2. ํ•™์Šต๋‚ด์šฉ ๐Ÿ“•

  • ์นดํ”„์นด ํด๋Ÿฌ์Šคํ„ฐ ์ฃผ์š” ์š”์†Œ

    • ๋ธŒ๋กœ์ปค, Zookeeper ๋“ฑ ์นดํ”„์นด ํด๋Ÿฌ์Šคํ„ฐ ์ฃผ์š” ์š”์†Œ์— ๋Œ€ํ•œ ์ดํ•ด

    • ํ† ํ”ฝ์— ๋Œ€ํ•œ ์ดํ•ด์™€ ๋ฉ”์‹œ์ง€ ์†ก/์ˆ˜์‹ 

    • ํŒŒํ‹ฐ์…˜ ์„ค๊ณ„์™€

      key๊ฐ’ ์„ค์ •์„ ํ†ตํ•œ ํŒŒํ‹ฐ์…˜๋‚ด ๋ฉ”์‹œ์ง€ ์ˆœ์„œ ๋ณด์žฅ


  • ํ”„๋กœ๋“€์„œ(Producer)์™€ ์ปจ์Šˆ๋จธ(Consumer) ๊ด€๋ จ ํ•ต์‹ฌ์š”์†Œ ์ดํ•ด

    • ์ปจ์Šˆ๋จธ์™€ ์ปจ์Šˆ๋จธ๊ทธ๋ฃน์— ๋Œ€ํ•œ ์ดํ•ด

    • offset๊ด€๋ฆฌ - ์˜คํ”„์…‹ ์ˆ˜๋™์ปค๋ฐ‹, ์˜คํ”„์…‹ ๋ฆฌ์…‹ ์„ค์ •

  • spring-kafka ์˜์กด์„ฑ์„ ํ™œ์šฉํ•œ ํ”„๋กœ๋“€์„œ/์ปจ์Šˆ๋จธ ์‹ค์Šต

    • springboot๋ฅผ ํ™œ์šฉํ•œ ๊ธฐ๋ณธ ๋ฉ”์‹œ์ง€ ์†ก/์ˆ˜์‹ 

    • ์ปจ์Šˆ๋จธ๊ทธ๋ฃน ์„ค์ •์— ๋”ฐ๋ฅธ ํŒŒํ‹ฐ์…˜ ์ ์œ  ๋ณ€ํ™” ํ™•์ธ

    • ๋ฉ”์‹œ์ง€ key์„ค๊ณ„ ๋ฐ ๋ฉ”์‹œ์ง€ ์ˆœ์„œ ๋ณด์žฅ ํ…Œ์ŠคํŠธ

    • offset๊ด€๋ จ ์‹ค์Šต

      • offset reset earliest์™€ latest์˜ ์ฐจ์ด ์‹ค์Šต

      • offset ์ˆ˜๋™ ์ปค๋ฐ‹ ์ „๋žต(DLQ์„ค๊ณ„)

  • ์‹ค์ œ ์„œ๋น„์Šค ์นดํ”„์นด ๋„์ž… ์ „๋žต ์†Œ๊ฐœ(๋กœ๊ทธ์„œ๋ฒ„, ์•Œ๋ฆผ์„œ๋ฒ„, MSA์„œ๋ฒ„)

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ์นดํ”„์นด๋ฅผ ํ•œ๋ฒˆ๋„ ์‚ฌ์šฉํ•ด๋ณธ์  ์—†๊ฑฐ๋‚˜, ์จ๋ดค์ง€๋งŒ ์ œ๋Œ€๋กœ ์ดํ•ดํ•˜์ง€ ๋ชปํ•œ ๊ฐœ๋ฐœ์ž

  • ์‹ค์‹œ๊ฐ„ ๋กœ๊ทธ ์ˆ˜์ง‘ยท์ฑ„ํŒ…ยท์•Œ๋ฆผ ์‹œ์Šคํ…œ ๋“ฑ ์นดํ”„์นด๋ฅผ ํ™œ์šฉํ•œ ์•„ํ‚คํ…์ฒ˜๋ฅผ ์„ค๊ณ„ํ•ด์•ผ ํ•˜๋Š” ๊ฐœ๋ฐœ์ž

์•ˆ๋…•ํ•˜์„ธ์š”
bradkim์ž…๋‹ˆ๋‹ค.

3,200

๋ช…

์ˆ˜๊ฐ•์ƒ

334

๊ฐœ

์ˆ˜๊ฐ•ํ‰

127

๊ฐœ

๋‹ต๋ณ€

4.9

์ 

๊ฐ•์˜ ํ‰์ 

10

๊ฐœ

๊ฐ•์˜

๐Ÿ’ช๐Ÿ’ช๐Ÿ’ช์‹ค๋ฌด์™€ ๊ฐ•์˜ ๊ฒฝ๋ ฅ์„ ๊ฐ–์ถ˜ ์ „๋ฌธ๊ฐ€ ๐Ÿ’ช๐Ÿ’ช๐Ÿ’ช

์•ˆ๋…•ํ•˜์„ธ์š” ๊น€์„ ๊ตญ(bradkim) ๊ฐ•์‚ฌ์ž…๋‹ˆ๋‹ค. ์—ฐ์„ธ๋Œ€ํ•™๊ต๋ฅผ ์กธ์—…ํ•˜๊ณ  ๋Œ€๊ธฐ์—…, ์Šคํƒ€ํŠธ์—… ๋“ฑ์—์„œ 8๋…„ ์ด์ƒ์„ ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋กœ ์ผํ•ด์™”์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๋ถ€ํŠธ์บ ํ”„์—์„œ ์ „์—… ๊ฐ•์‚ฌ๋กœ ์ผํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์‹ค๋ฌด ๊ฒฝํ—˜๊ณผ ๊ฐ•์˜ ๊ฒฝํ—˜์„ ๋ชจ๋‘ ๊ฐ–์ถ˜ ๊ฐ•์‚ฌ๋กœ์„œ, ์—ฌ๋Ÿฌ๋ถ„๋“ค์—๊ฒŒ ๋ฐ˜๋“œ์‹œ ์•Œ์•„์•ผํ•  ์ง€์‹๋“ค ์œ„์ฃผ๋กœ ์•Œ๊ธฐ์‰ฝ๊ฒŒ ์ „๋‹ฌ ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.

ํ”„๋กœํ•„ : https://www.linkedin.com/in/seongukkim

๋”๋ณด๊ธฐ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

2๊ฐœ

5.0

2๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

  • ์ž„๊ธฐ์˜๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ์ž„๊ธฐ์˜

    ์ˆ˜๊ฐ•ํ‰ 14

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    36% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ๋ช‡์•ˆ๋˜๋Š” ๊ท€์— ์™์™๋“ค์–ด์˜ค๋Š” ๊ฐ•์˜์ค‘ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค.

    • ์œคํ˜œ๋ฆฐ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
      ์œคํ˜œ๋ฆฐ

      ์ˆ˜๊ฐ•ํ‰ 1

      โˆ™

      ํ‰๊ท  ํ‰์  5.0

      5

      36% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

      bradkim๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

      ์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

      ๋น„์Šทํ•œ ๊ฐ•์˜

      ๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

      ์–ผ๋ฆฌ๋ฒ„๋“œ ํ• ์ธ ์ค‘

      ์›” โ‚ฉ71,386

      5๊ฐœ์›” ํ• ๋ถ€ ์‹œ

      24%

      โ‚ฉ22,000

      โ‚ฉ356,929