์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

์‹ค๋ฆฌ์ฝ˜๋ฐธ๋ฆฌ ์—”์ง€๋‹ˆ์–ด์™€ ํ•จ๊ป˜ํ•˜๋Š” Apache Flink

์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ์ด์ œ๋Š” ์„ ํƒ์ด ์•„๋‹Œ ํ•„์ˆ˜! Apache Flink๋กœ ์‹ค์‹œ๊ฐ„ ์ŠคํŠธ๋ฆฌ๋ฐ์„ ๋˜‘๋˜‘ํ•˜๊ฒŒ ๋‹ค๋ค„๋ด…๋‹ˆ๋‹ค. ๋ฐฐ์น˜? ์ŠคํŠธ๋ฆฌ๋ฐ? ๋ณต์žกํ•œ ๊ฐœ๋…๋„ ์‰ฝ๊ฒŒ, ๋น ๋ฅด๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ์–ด์š”. Kafka, DB ์—ฐ๋™๊นŒ์ง€ ์ง์ ‘ ํ•ด๋ณด๋ฉฐ ๊ฐ ์žก๋Š” ์‹ค์Šต ์œ„์ฃผ ๊ตฌ์„ฑ! ๋ฐ์ดํ„ฐ๋กœ ์›€์ง์ด๋Š” ์„ธ์ƒ, Flink๋กœ ๋จผ์ € ์‹œ์ž‘ํ•ด๋ณด์„ธ์š”.

(4.1) ์ˆ˜๊ฐ•ํ‰ 11๊ฐœ

์ˆ˜๊ฐ•์ƒ 157๋ช…

๋‚œ์ด๋„ ์ž…๋ฌธ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

4.1

5.0

ADK123

100% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

ํ”Œ๋งํฌ๋Š” ๋ฐ˜๋ณตํ•ด์„œ ๋ด์•ผ๊ฒ ๋„ค์š” ใ… 

5.0

๋™๊ทธ๋ฆฌ

97% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

Apache Spark ๊ฐ•์˜์— ์ด์–ด Apache Flink ๊ฐ•์˜๋„ ์ •๋ง ์ž˜ ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค! Spark์—์„œ ๋ฐฐ์šด ๊ฐœ๋…๋“ค์ด Flink์—์„œ ์–ด๋–ป๊ฒŒ ์‹ค์‹œ๊ฐ„์œผ๋กœ ํ™•์žฅ๋˜๋Š”์ง€ ํ•œ๋ˆˆ์— ์ดํ•ดํ•  ์ˆ˜ ์žˆ์—ˆ๊ณ , ๊ฐ•์‚ฌ๋‹˜ ์„ค๋ช…์ด ์›Œ๋‚™ ๋ช…ํ™•ํ•ด์„œ ๋ณต์žกํ•œ ์ŠคํŠธ๋ฆฌ๋ฐ ๊ฐœ๋…๋„ ์‰ฝ๊ฒŒ ๋‹ค๊ฐ€์™”์–ด์š”. ์‹ค๋ฌด์— ๋ฐ”๋กœ ์ ์šฉ ๊ฐ€๋Šฅํ•œ ์˜ˆ์ œ๋“ค์ด ๋งŽ์•„์„œ ํฐ ๋„์›€์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค ๋‹ค์Œ ๊ฐ•์˜๋„ ๊ธฐ๋Œ€ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค!

5.0

๋ฐฑ์ง€ํ›ˆ

100% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

Apache Flink์— ๋Œ€ํ•ด์„œ ๋“ค์–ด๋ณธ์ ์€ ์žˆ์œผ๋‚˜ ์ •ํ™•ํžˆ ๋ชฐ๋ž์—ˆ๋Š”๋ฐ ์ด๋ฒˆ ๊ธฐํšŒ์— ๊ฐ•์˜๋ฅผ ํ†ตํ•ด ํ‹€์„ ์žก์„ ์ˆ˜ ์žˆ์—ˆ๋˜ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์ข‹์€ ๊ฐ•์˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ๊ณผ ๋ฐฐ์น˜ ์ฒ˜๋ฆฌ์˜ ๊ฐœ๋… ์ฐจ์ด

  • Flink์˜ ํ•ต์‹ฌ ๊ตฌ์„ฑ ์š”์†Œ์™€ ์•„ํ‚คํ…์ฒ˜ ์ดํ•ด

  • Kafka, ํŒŒ์ผ ์‹œ์Šคํ…œ, Flink ์—ฐ๋™ ์‹ค์Šต

  • ์œˆ๋„์šฐ, ์ƒํƒœ ๊ด€๋ฆฌ, ์ฒดํฌํฌ์ธํŠธ ๋“ฑ ์‹ค์ „์—์„œ ์ž์ฃผ ์“ฐ์ด๋Š” ๊ธฐ๋Šฅ

๐Ÿš€ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์˜ ํ•ต์‹ฌ, Apache Flink 2.x ์ž…๋ฌธ

  • ๋ฐ์ดํ„ฐ๊ฐ€ ์Ÿ์•„์ง€๋Š” ์‹œ๋Œ€, โ€˜์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌโ€™๋Š” ์ด์ œ ์„ ํƒ์ด ์•„๋‹ˆ๋ผ ํ•„์ˆ˜!

  • Apache Flink๋Š” ๋„ทํ”Œ๋ฆญ์Šค, ์šฐ๋ฒ„, ์•Œ๋ฆฌ๋ฐ”๋ฐ” ๊ฐ™์€ ๊ธ€๋กœ๋ฒŒ ๊ธฐ์—…๋“ค์ด ์ด๋ฏธ ์“ฐ๊ณ  ์žˆ๋Š” ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์˜ ๋ํŒ์™•์ด์—์š”.


  • ๐Ÿง  Flink๊ฐ€ ๋ญ”๋ฐ?
    ๋งˆ์ดํฌ๋กœ๋ฐฐ์น˜ ๋ง๊ณ  ์ง„์งœ ๋ฆฌ์–ผํƒ€์ž„! Flink ์•„ํ‚คํ…์ฒ˜๋ž‘ ํ•ต์‹ฌ ๊ฐœ๋… ์‰ฝ๊ฒŒ ์•Œ๋ ค์ค„๊ฒŒ์š”.

  • โš” ์‹ค์‹œ๊ฐ„ vs ๋ฐฐ์น˜ ํ•œํŒ ๋ถ™์ž
    ์–ด๋–ค ์ƒํ™ฉ์— ๋ญ˜ ์จ์•ผ ํ• ์ง€, ๋‘ ๋ฐฉ์‹์˜ ์ฐจ์ด์™€ ์žฅ๋‹จ์ ์„ ์ง„์งœ ์˜ˆ์ œ๋กœ ๋น„๊ตํ•ด๋ด์š”.

  • ๐Ÿ’ฌ Kafka๋ž‘ ์ฐฐ๋–ก๊ถํ•ฉ
    โ€œKafka๊ฐ€ ๋ฐ์ดํ„ฐ ์ด์ฃผ๊ณ , Flink๊ฐ€ ์‹ค์‹œ๊ฐ„์œผ๋กœ ์ฒ˜๋ฆฌํ•œ๋‹ค!โ€ ์ด ์กฐํ•ฉ, ์‹ค๋ฌด์—์„œ ์ง„์งœ ๋งŽ์ด ์”๋‹ˆ๋‹ค.

  • ๐ŸŒก ์‹ค์ „ ๋ง›๋ณด๊ธฐ: IoT ์„ผ์„œ ๋ฐ์ดํ„ฐ ํ‰๊ท  ๊ณ„์‚ฐ ํ”„๋กœ์ ํŠธ
    ์‹ค์ œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ง€๊ณ  ํ‰๊ท  ์˜จ๋„๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ณ„์‚ฐํ•˜๋Š” ํ”„๋กœ์ ํŠธ ์ง์ ‘ ๋งŒ๋“ค์–ด๋ด์š”.
    โ†’ Flink๊ฐ€ ์‹ค์ „์—์„œ ์–ด๋–ป๊ฒŒ ์“ฐ์ด๋Š”์ง€ ๊ฐ์ด ํŒ ์˜ต๋‹ˆ๋‹ค.

flink, ๋น…๋ฐ์ดํ„ฐ, ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง, data-analysis, ๋ฐ์ดํ„ฐ ํŠธ๋žœ์Šคํฌ๋ฉ”์ด์…˜

Apache Flink๋กœ ๋ ˆ๋ฒจ ์—…! ์ŠคํŠธ๋ฆฌ๋ฐ ์‹ค์ „ ๊ฐ•์˜, ์ง€๊ธˆ ์‹œ์ž‘ํ•˜์„ธ์š”! ๐Ÿ’ช

๐Ÿ™Œ ์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜ ์ถ”์ฒœํ•ด์š”

๐Ÿ“Š ๋ฐ์ดํ„ฐ๋Š” ๋งŽ์€๋ฐ, ๋ญ˜ ์–ด๋–ป๊ฒŒ ํ•ด์•ผ ํ• ์ง€ ๋ชจ๋ฅด๊ฒ ์–ด์š”

์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ์˜ ํ๋ฆ„์„ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ์žก๊ณ  ์‹ถ์€ ๊ฐœ๋ฐœ์ž

โฑ Kafka๋Š” ์•Œ๊ฒ ๋Š”๋ฐ, ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ๊นŒ์ง€ ๊ฐ€๋ณด์ž๊ณ !

Kafka๋กœ ๋ฐ์ดํ„ฐ๋Š” ๋ฐ›๊ณ  ์žˆ๋Š”๋ฐ, ๊ทธ๊ฑธ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ฐ€๊ณตํ•˜๊ณ  ์‹ถ์€ ๋ถ„

๐Ÿ”ฅ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง, ๋‚˜๋„ ํ•œ๋ฒˆ ์ง„์ง€ํ•˜๊ฒŒ ๋ฐฐ์›Œ๋ณผ๊นŒ?

Python, Java ๊ธฐ๋ณธ๊ธฐ๋Š” ์žˆ๋Š”๋ฐ ์‹ค๋ฌด ๊ฒฝํ—˜์€ ์•„์ง ๋ถ€์กฑํ•œ ๊ฐœ๋ฐœ ์ž…๋ฌธ์ž

๐ŸŽ‰ ์ˆ˜๊ฐ• ํ›„์—๋Š” ์ด๋ ‡๊ฒŒ ๋‹ฌ๋ผ์ ธ์š”!

  • โœ… ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์˜ ์ „์ฒด ํ๋ฆ„์ด ๋ณด์ž…๋‹ˆ๋‹ค


    • Kafka์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›๊ณ , Flink๋กœ ์‹ค์‹œ๊ฐ„ ๋ถ„์„ํ•˜๊ณ , ๊ฒฐ๊ณผ๋ฅผ ์™ธ๋ถ€ ์‹œ์Šคํ…œ์— ๋‚ด๋ณด๋‚ด๋Š” ์ „์ฒด ํ”Œ๋กœ์šฐ๋ฅผ ์ง์ ‘ ๊ตฌํ˜„ํ•ด๋ด…๋‹ˆ๋‹ค. ์ด์ œ ์‹ค์‹œ๊ฐ„ ํŒŒ์ดํ”„๋ผ์ธ์ด๋ง‰์—ฐํ•˜์ง€ ์•Š๊ณ  ์†์— ์žกํžˆ๋Š” ๊ตฌ์กฐ๋กœ ์ดํ•ด๋ผ์š”.

  • โœ…์ด๋ฒคํŠธ ์‹œ๊ฐ„ ๊ธฐ๋ฐ˜ ์ฒ˜๋ฆฌ์˜ ๊ฐœ๋…์ด ๋ช…ํ™•ํ•ด์ง‘๋‹ˆ๋‹ค

    • Event Time, Watermark, Window ๊ฐ™์€ ๊ฐœ๋…๋“ค์ด ์ฒ˜์Œ์—” ํ—ท๊ฐˆ๋ฆด ์ˆ˜ ์žˆ์–ด์š”. ์ด ๊ฐ•์˜์—์„œ๋Š” ์‹ค์ œ ๋ฐ์ดํ„ฐ๋ฅผ ์‹œ๊ฐ„ ๊ธฐ์ค€์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๋ฉฐ, ์‹œ๊ฐ„ ๊ฐœ๋…์ด ์–ด๋–ป๊ฒŒ ์ŠคํŠธ๋ฆฌ๋ฐ ์ฒ˜๋ฆฌ์— ์˜ํ–ฅ์„ ์ฃผ๋Š”์ง€ ๋ชธ์†Œ ์ฒด๊ฐํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

  • โœ… ํฌํŠธํด๋ฆฌ์˜ค์— ์‹ค์„ ์ˆ˜ ์žˆ๋Š” ์‹ค์ „ ํ”„๋กœ์ ํŠธ ๊ฒฐ๊ณผ๋ฌผ์„ ์–ป์Šต๋‹ˆ๋‹ค


    • ๐Ÿ“Œ โ€œIoT ์„ผ์„œ ๋ฐ์ดํ„ฐ ์‹ค์‹œ๊ฐ„ ๋ถ„์„ ๋Œ€์‹œ๋ณด๋“œโ€

      • Kafka๋กœ ์„ผ์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์‹ 

      • Flink๋กœ ํ‰๊ท  ์˜จ๋„ ๊ณ„์‚ฐ

      • ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ฒฐ๊ณผ๋ฅผ ์ถœ๋ ฅ ๋ฐ ์ €์žฅ

๐Ÿ“š์ด๋Ÿฐ ๋‚ด์šฉ์„ ๋ฐฐ์›Œ์š”

์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ์˜ ํ•ต์‹ฌ ๊ฐœ๋…๊ณผ ๊ตฌ์กฐ ์ดํ•ด

  • Apache Flink 2.x์˜ ๊ธฐ๋ณธ ์•„ํ‚คํ…์ฒ˜์™€ ๋™์ž‘ ์›๋ฆฌ

  • ๋ฐฐ์น˜ vs ์ŠคํŠธ๋ฆฌ๋ฐ ์ฒ˜๋ฆฌ ๋ฐฉ์‹์˜ ์ฐจ์ด

  • Event Time, Window, Watermark ๋“ฑ ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ํ•ต์‹ฌ ๊ฐœ๋…

  • ์ƒํƒœ(State) ๊ด€๋ฆฌ์™€ Checkpoint๋ฅผ ํ†ตํ•œ ๋‚ด๊ฒฐํ•จ์„ฑ ํ™•๋ณด

Kafka์™€ ์—ฐ๋™ํ•œ ์‹ค์ „ ์ŠคํŠธ๋ฆฌ๋ฐ ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ•

  • Kafka์—์„œ ๋ฐ์ดํ„ฐ ์ˆ˜์‹  โ†’ Flink์—์„œ ์ฒ˜๋ฆฌ โ†’ ์™ธ๋ถ€๋กœ ์ถœ๋ ฅํ•˜๋Š” ์ „์ฒด ํ๋ฆ„ ์‹ค์Šต

  • IoT ์„ผ์„œ ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•œ ํ‰๊ท  ์˜จ๋„ ๊ณ„์‚ฐ ํ”„๋กœ์ ํŠธ

๐Ÿค” ๊ถ๊ธˆํ•œ ์ ์ด ์žˆ๋‚˜์š”?

โ“ Q1. Flink๊ฐ€ ๋ญ”์ง€ ์ฒ˜์Œ ๋“ฃ๋Š”๋ฐ, ์™„์ „ ์ดˆ๋ณด๋„ ์ˆ˜๊ฐ•ํ•ด๋„ ๋˜๋‚˜์š”?

A. ๋„ค! ์ด ๊ฐ•์˜๋Š” Flink๋ฅผ ํ•œ ๋ฒˆ๋„ ์จ๋ณธ ์  ์—†๋Š” ๋ถ„๋„ ์ถฉ๋ถ„ํžˆ ๋”ฐ๋ผ์˜ฌ ์ˆ˜ ์žˆ๊ฒŒ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์–ด์š”.
์ฒ˜์Œ์—๋Š” Flink์˜ ๊ธฐ๋ณธ ๊ตฌ์กฐ์™€ ๊ฐœ๋…์„ ์ฒœ์ฒœํžˆ ์„ค๋ช…ํ•˜๊ณ , Kafka์™€ ์—ฐ๋™ํ•˜๋Š” ๊ณผ์ •๋„ ์‹ค์Šต์„ ํ†ตํ•ด ์ง์ ‘ ๋”ฐ๋ผํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€๋“œ๋ฆฝ๋‹ˆ๋‹ค.
๊ธฐ์ดˆ๋ถ€ํ„ฐ ํƒ„ํƒ„ํžˆ ์Œ“์•„๊ฐ€๋‹ˆ ๊ฑฑ์ • ๋งˆ์„ธ์š”!

โ“ Q2. Kafka๋„ ์ž˜ ๋ชจ๋ฅด๋Š”๋ฐ ๊ดœ์ฐฎ์„๊นŒ์š”?

A. ๊ฑฑ์ • ๋งˆ์„ธ์š”! Kafka๋„ ๊ฐ•์˜ ํ๋ฆ„ ์•ˆ์—์„œ ํ•„์š”ํ•œ ๋ถ€๋ถ„๋งŒ ์‰ฝ๊ฒŒ ์„ค๋ช…๋“œ๋ ค์š”.
Kafka ์ž์ฒด๋ฅผ ๊นŠ๊ฒŒ ํŒŒ๋Š” ๊ฐ•์˜๋Š” ์•„๋‹ˆ์ง€๋งŒ, ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ํ๋ฆ„์„ ์ดํ•ดํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ ๊ฐœ๋…๊ณผ ์„ค์ •์€ ํ•จ๊ป˜ ์ตํž ์ˆ˜ ์žˆ๋„๋ก ๊ตฌ์„ฑ๋˜์–ด ์žˆ์–ด์š”.
โ€œKafka + Flink ์กฐํ•ฉโ€์„ ์‹ค์ œ๋กœ ๋‹ค๋ค„๋ณด๋ฉฐ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ๋‘ ๊ธฐ์ˆ ์„ ์—ฐ๊ฒฐํ•ด์„œ ์ดํ•ดํ•  ์ˆ˜ ์žˆ์–ด์š”.

โ“ Q3. ๊ฐ•์˜๋ฅผ ๋“ค์œผ๋ฉด ์‹ค๋ฌด์— ๋ฐ”๋กœ ์“ธ ์ˆ˜ ์žˆ์„๊นŒ์š”?

A. ๋„ค, ์‹ค๋ฌด์— ๋ฐ”๋กœ ์ ์šฉ ๊ฐ€๋Šฅํ•œ ์˜ˆ์ œ์™€ ์‹ค์Šต์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์–ด์š”.
์˜ˆ๋ฅผ ๋“ค์–ด, IoT ์„ผ์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์•„ ํ‰๊ท  ์˜จ๋„๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ณ„์‚ฐํ•˜๋Š” ํ”„๋กœ์ ํŠธ๋ฅผ ํ•จ๊ป˜ ๋งŒ๋“ค์–ด๋ด…๋‹ˆ๋‹ค. ์ด๊ฑด ๋‹จ์ˆœํ•œ ์‹ค์Šต์ด ์•„๋‹ˆ๋ผ,
์‹ค์ œ ํ˜„์—…์—์„œ ๋กœ๊ทธ ๋ถ„์„, ๋ชจ๋‹ˆํ„ฐ๋ง, ์•Œ๋ฆผ ์‹œ์Šคํ…œ ๋“ฑ์— ํ™•์žฅ ์ ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ตฌ์กฐ์˜ˆ์š”.
๊ฐ•์˜๋ฅผ ๋งˆ์น˜๊ณ  ๋‚˜๋ฉด โ€œ์ด๊ฑธ ์šฐ๋ฆฌ ์„œ๋น„์Šค์— ์–ด๋–ป๊ฒŒ ์ ์šฉํ•  ์ˆ˜ ์žˆ์„์ง€โ€ ๊ทธ๋ฆผ์ด ๋ณด์ด๊ฒŒ ๋ฉ๋‹ˆ๋‹ค

์ˆ˜๊ฐ• ์ „ ์ฐธ๊ณ  ์‚ฌํ•ญ

์‹ค์Šต ํ™˜๊ฒฝ

  • ์šด์˜ ์ฒด์ œ ๋ฐ ๋ฒ„์ „(OS): macOS, Linux, Ubuntu๋“ฑ OS ์ข…๋ฅ˜ ๋ฐ ๋ฒ„์ „

  • ์‚ฌ์šฉ ๋„๊ตฌ: Docker

  • ์‚ฌ์šฉ ์–ธ์–ด: ํŒŒ์ด์ฌ(Python), ์ž๋ฐ”(Java)

ํ•™์Šต ์ž๋ฃŒ

  • PDF ๊ฐ•์˜ ์ž๋ฃŒ(๊ฐ๊ฐ์˜ ๋™์˜์ƒ ํ•™์Šต ์ž๋ฃŒ ์ฐธ๊ณ ) ๋ฐ ์ฝ”๋“œ ์ž๋ฃŒ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์„ ์ˆ˜ ์ง€์‹ ๋ฐ ์œ ์˜์‚ฌํ•ญ

  • ๋ณธ ๊ฐ•์˜๋Š” ์‹ค์Šต ์ค‘์‹ฌ์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์œผ๋ฉฐ, Docker ํ™˜๊ฒฝ์—์„œ Apache Flink์™€ Kafka๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์•„๋ž˜์™€ ๊ฐ™์€ ๊ธฐ์ดˆ ์ง€์‹์„ ์•Œ๊ณ  ๊ณ„์‹œ๋ฉด ๋”์šฑ ์›ํ™œํ•˜๊ฒŒ ์ˆ˜๊ฐ•ํ•˜์‹ค ์ˆ˜ ์žˆ์–ด์š”:

    • Java์˜ ๊ธฐ๋ณธ ๋ฌธ๋ฒ• ๋ฐ ์‚ฌ์šฉ๋ฒ•

    • Python์˜ ๊ธฐ๋ณธ ๋ฌธ๋ฒ• ๋ฐ ์‚ฌ์šฉ๋ฒ•

    • (์„ ํƒ์‚ฌํ•ญ) Apache Spark ๊ธฐ๋ณธ ์ •๋ณด

    • Docker ๋ฐ Docker Compose ์‚ฌ์šฉ ๋ฐฉ๋ฒ•

  • ๋งŒ์•ฝ Docker๊ฐ€ ์ต์ˆ™ํ•˜์ง€ ์•Š์œผ์‹œ๋‹ค๋ฉด, ์ œ๊ฐ€ ๋งŒ๋“  ๋ฌด๋ฃŒ Docker ์ž…๋ฌธ ๊ฐ•์˜๋ฅผ ์ถ”์ฒœ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
    ๐Ÿ‘‰ Docker ๋ฌด๋ฃŒ ๊ฐ•์˜ ๋ณด๋Ÿฌ ๊ฐ€๊ธฐ

  • ๊ฐ•์˜ ์—ฌ๋Š” ์‹œ์ ์˜ ์ตœ์‹  ๋ฒ„์ „์ธ 2.X์œผ๋กœ ๋ฌธ๋ฒ•์ด ์„ค๋ช…๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค(1.X ๋ฌธ๋ฒ•๊ณผ ์ƒ์ดํ•ฉ๋‹ˆ๋‹ค)

  • ๊ฐ•์˜ ์ค‘ ์ดํ•ด๊ฐ€ ์ž˜ ๋˜์ง€ ์•Š๊ฑฐ๋‚˜, ์งˆ๋ฌธ์ด ์ƒ๊ธฐ๋ฉด ์–ธ์ œ๋“  ๋Œ“๊ธ€๋กœ ์งˆ๋ฌธ ๋‚จ๊ฒจ์ฃผ์„ธ์š”!
    ์ œ๊ฐ€ ๋ฏธ๊ตญ ์„œ๋ถ€์— ๊ฑฐ์ฃผํ•˜๊ณ  ์žˆ์–ด ์‹œ์ฐจ ๋•Œ๋ฌธ์— ๋‹ต๋ณ€์ด ๋‹ค์†Œ ๋Šฆ์–ด์งˆ ์ˆ˜ ์žˆ๋Š” ์  ์–‘ํ•ด ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
    ์ตœ๋Œ€ํ•œ ๋น ๋ฅด๊ฒŒ, ์ •ํ™•ํ•˜๊ฒŒ ๋„์™€๋“œ๋ฆด๊ฒŒ์š” ๐Ÿ˜Š

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ๋กœ๊ทธ, ํŠธ๋ž˜ํ”ฝ, ์„ผ์„œ ๋ฐ์ดํ„ฐ ๋“ฑ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ฅผ ํ•ด๋ณด๊ณ  ์‹ถ์€ ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ์ž

  • Flink, Kafka ๋“ฑ ์ŠคํŠธ๋ฆฌ๋ฐ ๊ธฐ๋ฐ˜ ๊ธฐ์ˆ ์„ ์‹ค๋ฌด์— ๋„์ž…ํ•˜๊ณ  ์‹ถ์€ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด

  • ๋ฐฐ์น˜ ์ฒ˜๋ฆฌ ์ค‘์‹ฌ์˜ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์ŠคํŠธ๋ฆฌ๋ฐ์œผ๋กœ ์ „ํ™˜ํ•˜๋ ค๋Š” ํŒ€/ํšŒ์‚ฌ์— ์žˆ๋Š” ๋ถ„

  • Spark๋Š” ์จ๋ดค์ง€๋งŒ ์ง„์งœ ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ๋ฅผ ๊ฒฝํ—˜ํ•ด๋ณด๊ณ  ์‹ถ์€ ๊ฐœ๋ฐœ์ž

  • ํด๋ผ์šฐ๋“œ ๊ธฐ๋ฐ˜ ์‹ค์‹œ๊ฐ„ ๋ถ„์„ ์‹œ์Šคํ…œ์— ๊ด€์‹ฌ ์žˆ๋Š” ๋ถ„

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • ์ž๋ฐ” ๊ธฐ์ดˆ ๋ฌธ๋ฒ•

  • Kafka๋‚˜ ๋ฉ”์‹œ์ง€ ํ์— ๋Œ€ํ•œ ๊ธฐ๋ณธ ๊ฐœ๋…

  • ๋ฆฌ๋ˆ…์Šค ๊ธฐ๋ณธ ๋ช…๋ น์–ด ๋ฐ Docker ์‚ฌ์šฉ ๊ฒฝํ—˜ (์„ ํƒ ์‚ฌํ•ญ)

์•ˆ๋…•ํ•˜์„ธ์š”
๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด์ž…๋‹ˆ๋‹ค.

21,068

๋ช…

์ˆ˜๊ฐ•์ƒ

1,065

๊ฐœ

์ˆ˜๊ฐ•ํ‰

339

๊ฐœ

๋‹ต๋ณ€

4.8

์ 

๊ฐ•์˜ ํ‰์ 

29

๊ฐœ

๊ฐ•์˜

ํ•œ๊ตญ์—์„œ ๋๋‚ผ ๊ฑฐ์•ผ? ์˜์–ด๋กœ ์„ธ๊ณ„ ์‹œ์žฅ์„ ๋šซ์–ด๋ผ! ๐ŸŒ๐Ÿš€

์•ˆ๋…•ํ•˜์„ธ์š”. UC Berkeley์—์„œ ๐Ÿ’ป ์ปดํ“จํ„ฐ ๊ณตํ•™(EECS)์„ ์ „๊ณตํ•˜๊ณ , ์‹ค๋ฆฌ์ฝ˜ ๋ฐธ๋ฆฌ์—์„œ 15๋…„ ์ด์ƒ์„ ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋กœ ์ผํ•ด์™”์œผ๋ฉฐ, ํ˜„์žฌ๋Š” ์‹ค๋ฆฌ์ฝ˜๋ฐธ๋ฆฌ ๋น…ํ…Œํฌ ๋ณธ์‚ฌ์—์„œ ๋น…๋ฐ์ดํ„ฐ์™€ DevOps๋ฅผ ๋‹ค๋ฃจ๋Š” Staff Software Engineer๋กœ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๐Ÿงญ ์‹ค๋ฆฌ์ฝ˜ ๋ฐธ๋ฆฌ์˜ ํ˜์‹  ํ˜„์žฅ์—์„œ ์ง์ ‘ ๋ฐฐ์šด ๊ธฐ์ˆ ๊ณผ ๋…ธํ•˜์šฐ๋ฅผ ์˜จ๋ผ์ธ ๊ฐ•์˜๋ฅผ ํ†ตํ•ด ์ด์ œ ์—ฌ๋Ÿฌ๋ถ„๊ณผ ํ•จ๊ป˜ ๋‚˜๋ˆ„๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.

  • ๐Ÿš€ ๊ธฐ์ˆ  ํ˜์‹ ์˜ ์ตœ์ „์„ ์—์„œ ๋ฐฐ์šฐ๊ณ  ์„ฑ์žฅํ•ด ์˜จ ์ €์™€ ํ•จ๊ป˜, ์—ฌ๋Ÿฌ๋ถ„๋„ ๊ธ€๋กœ๋ฒŒ ๋ฌด๋Œ€์—์„œ ๊ฒฝ์Ÿํ•  ์ˆ˜ ์žˆ๋Š” ์—ญ๋Ÿ‰์„ ํ‚ค์›Œ๋ณด์„ธ์š”!

  • ๐Ÿซก ๋˜‘๋˜‘ํ•˜์ง€๋Š” ์•Š์ง€๋งŒ, ํฌ๊ธฐํ•˜์ง€ ์•Š๊ณ  ๊พธ์ค€ํžˆ ํ•˜๋ฉด ๋ญ๋“ ์ง€ ์ด๋ฃฐ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์„ ๊ผญ ๋ง์”€๋“œ๋ฆฌ๊ณ  ์‹ถ์Šต๋‹ˆ๋‹ค. ํ•ญ์ƒ ์ข‹์€ ์ž๋ฃŒ๋กœ ์˜†์—์„œ ๋„์›€์„ ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค

 

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

29๊ฐœ โˆ™ (2์‹œ๊ฐ„ 54๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

11๊ฐœ

4.1

11๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

  • ๋™๊ทธ๋ฆฌ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ๋™๊ทธ๋ฆฌ

    ์ˆ˜๊ฐ•ํ‰ 2

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    97% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    Apache Spark ๊ฐ•์˜์— ์ด์–ด Apache Flink ๊ฐ•์˜๋„ ์ •๋ง ์ž˜ ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค! Spark์—์„œ ๋ฐฐ์šด ๊ฐœ๋…๋“ค์ด Flink์—์„œ ์–ด๋–ป๊ฒŒ ์‹ค์‹œ๊ฐ„์œผ๋กœ ํ™•์žฅ๋˜๋Š”์ง€ ํ•œ๋ˆˆ์— ์ดํ•ดํ•  ์ˆ˜ ์žˆ์—ˆ๊ณ , ๊ฐ•์‚ฌ๋‹˜ ์„ค๋ช…์ด ์›Œ๋‚™ ๋ช…ํ™•ํ•ด์„œ ๋ณต์žกํ•œ ์ŠคํŠธ๋ฆฌ๋ฐ ๊ฐœ๋…๋„ ์‰ฝ๊ฒŒ ๋‹ค๊ฐ€์™”์–ด์š”. ์‹ค๋ฌด์— ๋ฐ”๋กœ ์ ์šฉ ๊ฐ€๋Šฅํ•œ ์˜ˆ์ œ๋“ค์ด ๋งŽ์•„์„œ ํฐ ๋„์›€์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค ๋‹ค์Œ ๊ฐ•์˜๋„ ๊ธฐ๋Œ€ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค!

    • ๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ๋™๊ทธ๋ฆฌ๋‹˜, Spark์— ์ด์–ด Flink๊ฐ•์˜๋„ ๋“ค์œผ์…จ๊ณ , ๋˜ ๋„์›€์ด ๋˜์…จ๋‹ค๋‹ˆ ๋‹คํ–‰์ด๋„ค์š”. ์‹œ๊ฐ„๋‚ด์„œ ์ข‹์€ ๋ฆฌ๋ทฐ ๋‚จ๊ฒจ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

  • sihoony.lee๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    sihoony.lee

    ์ˆ˜๊ฐ•ํ‰ 3

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    • ๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” sihoony.lee๋‹˜ , ์‹œ๊ฐ„๋‚ด์„œ ์ข‹์€ ๋ฆฌ๋ทฐ ์ฃผ์…”์„œ ์ •๋ง ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

  • ctk0327๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ctk0327

    ์ˆ˜๊ฐ•ํ‰ 1

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    • ๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ctk0327๋‹˜, ์‹œ๊ฐ„๋‚ด์„œ ์ข‹์€ ๋ฆฌ๋ทฐ ๋‚จ๊ฒจ์ฃผ์…”์„œ ์ •๋ง ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

  • ADK123๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ADK123

    ์ˆ˜๊ฐ•ํ‰ 329

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    100% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ํ”Œ๋งํฌ๋Š” ๋ฐ˜๋ณตํ•ด์„œ ๋ด์•ผ๊ฒ ๋„ค์š” ใ… 

    • ๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ADK123๋‹˜, Flink๊ฐ€ ๊ณต์‹ ์‚ฌ์ดํŠธ์—๋„ ์ž๋ฃŒ๊ฐ€ ๋’ค์ฃฝ๋ฐ•์ฃฝ์ด๋ผ, ๋งŒ๋“œ๋Š”๋ฐ ์–ด๋ ค์›€์ด ๋งŽ์•˜๋„ค์š”. ๊ณง ๋ณด์ถฉ๊ฐ•์˜ ์˜ฌ๋ฆฌ๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

  • ๊น€๋ ˆ์ง„๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ๊น€๋ ˆ์ง„

    ์ˆ˜๊ฐ•ํ‰ 2

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    • ๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ๊น€๋ ˆ์ง„๋‹˜ ์‹œ๊ฐ„๋‚ด์„œ ์ข‹์€ ๋ฆฌ๋ทฐ ๋‚จ๊ฒจ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค! ์šฐ์™€~ ์ŠคํŒŒํฌ์— ์ด์–ด ํ”Œ๋งํฌ๋„ ๋ฐ”๋กœ ๊ณต๋ถ€ํ•˜์‹œ๋Š” ๊ฑด๊ฐ€์š”? ์ข‹์€ ์„ฑ๊ณผ๊ฐ€ ์žˆ์œผ์‹ค ๊ฒ๋‹ˆ๋‹ค!

๋ฏธ์ฟก์—”์ง€๋‹ˆ์–ด๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

๋น„์Šทํ•œ ๊ฐ•์˜

๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

์—ฐ๊ด€ ๋กœ๋“œ๋งต

๊ฐ•์˜๊ฐ€ ํฌํ•จ๋œ ๋กœ๋“œ๋งต์œผ๋กœ ํ•™์Šตํ•ด ๋ณด์„ธ์š”!

โ‚ฉ44,000