๋ค์ด๋ฒ ๋ฉด์ ๊ด์ด ์ฌ์ฉํ๋ ์ค์๊ฐ ์ด์ ์ง์ฐ Platform Apache Flink
Hong
๋๋ถ๋ถ์ ๊ฐ๋ฐ์๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ด์ผ๊ธฐํ ๋ ์ฌ์ ํ Batch์ CronJob์ ๋จธ๋ฌผ๋ฌ ์์ต๋๋ค. ํ์ง๋ง ์ค์ ์๋น์ค ํ๊ฒฝ์์๋ ๋ฐ์ดํฐ๊ฐ ๋์์์ด ์์ฑ๋๊ณ , ๊ทธ ํ๋ฆ์ ์ฆ์ ์ฒ๋ฆฌํ์ง ๋ชปํ๋ฉด ์ง์ฐยท๋ณ๋ชฉยท์ ํฉ์ฑ ๋ฌธ์ ๋ก ์ด์ด์ง๋๋ค. ์ ์ญ์ ๋๊ท๋ชจ ํธ๋ํฝ ํ๊ฒฝ์์ ์ค์๊ฐ ์ถ์ฒ, ์ํ ๋๊ธฐํ, ์ด๋ฒคํธ ์ง์ฐ ๋ฌธ์ ๋ฅผ ์ง์ ๊ฒช์ผ๋ฉฐ โ์ด๊ฑธ ๋ฐฐ์น๋ก ์ฒ๋ฆฌํ๋ ๊ฒ ๋ง๋?โ๋ผ๋ ๊ณ ๋ฏผ์ ์์์ด ํ์ต๋๋ค. ์ด ๊ฐ์๋ ๋ฐ๋ก ๊ทธ ์ง๋ฌธ์์ ์ถ๋ฐํฉ๋๋ค. Apache Flink๋ฅผ ํ์ฉํด ๋ฐ์ดํฐ๊ฐ ํ๋ฌ๊ฐ๋ ์๊ฐ์ ์ฐ์ฐํ๊ณ , ์ํ๋ฅผ ์์ ํ๊ฒ ๊ด๋ฆฌํ๋ฉฐ, Event Time ๊ธฐ๋ฐ์ผ๋ก ์ ํํ ๊ฒฐ๊ณผ๋ฅผ ๋ง๋ค์ด๋ด๋ ๋ฐฉ๋ฒ์ ์ค๋ฌด ๊ด์ ์์ ํ์ด๋ ๋๋ค. ๋จ์ํ ์ด๋ก ์ค๋ช ์ด ์๋๋ผ, ์ค์ ์์ค ์ฝ๋์ ๊ตฌ์กฐ๋ฅผ ํตํด ์ค์๊ฐ ์คํธ๋ฆผ ์ฒ๋ฆฌ ์์คํ ์ด ์ด๋ป๊ฒ ์ค๊ณ๋๊ณ ์ด์๋๋์ง๋ฅผ ๊ฒฝํํ ์ ์์ต๋๋ค. ์ค์๊ฐ ์ฒ๋ฆฌ๊ฐ ๋ง์ฐํ๊ฒ ๋๊ปด์ก๋ ๋ถ๋ค, ๋ฉ์์ง ์ดํ์ ์ธ๊ณ๊ฐ ๊ถ๊ธํ๋ ๋ถ๋ค๊ป ์ด ๊ฐ์๋ ๋ถ๋ช ํ ๋ฐฉํฅ์ ์ ์ํด์ค ๊ฒ์ ๋๋ค.
์ด๊ธ
Java, Docker, docker-compose















![[๊ด๋ฆฌ์ฝ์ค #3] DE, DBA (SSIS, SSAS, MachineLearning, BI, ETL)๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/329784/cover/c5e6543b-72c3-4471-b43f-15b9002e65ed/329784-eng.png?w=420)


![[๊ด๋ฆฌ์ฝ์ค #2] DBA (ERD, ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ค๊ณ)๊ฐ์ ์ธ๋ค์ผ](https://cdn.inflearn.com/public/courses/329643/cover/a5747a03-97cd-400d-adba-82f5952a40bd/329643-eng.png?w=420)