์๋ ํ์ธ์.
๋ฐ์ดํฐ & AI ๋ถ์ผ์์ ์ผํ๊ณ ์๋ 15๋ ์ฐจ ํ์ง์์ ๋๋ค.
์ ๋ณด๊ด๋ฆฌ๊ธฐ์ ์ฌ๋ฅผ ์ทจ๋ํ ์ดํ ์ง๊ธ๊น์ง ์ป์ ์ง์์ ๋ง์ ์ฌ๋๋ค์๊ฒ ๊ณต์ ํ๊ณ ์ ์ปจํ ์ธ ์ ์ํ๊ณ ์์ต๋๋ค.
๋ฐ๊ฐ์ต๋๋ค. :)
Contact: hjkim_sun@naver.com
Courses
Reviews
- Realtime Datalake Using Kafka & Spark
- Realtime Datalake Using Kafka & Spark
- Realtime Datalake Using Kafka & Spark
Posts
Q&A
kafka broker prompt ๋ณ๊ฒฝ ํ์ธ
์๋ ํ์ธ์ nayun1945๋!broker ์๋ฒ๋ค ๋ฆฌ๋ถํ ํ๋๋ ์ฐ๊ฒฐ๋์ด์๋ ํฐ๋ฏธ๋์ด public-nat๋ก ๋๋์๊ฐ๋ค๋ ๋ง์์ด์์ฃ ?๊ทธ๊ฑด ์๋ ๊ทธ๋ ์ต๋๋ค.broker ์๋ฒ๊ฐ ๋ฆฌ๋ถํ ๋๋ฉด์ ์ฐ๊ฒฐ๋์ด ์๋ ssh ํฐ๋ฏธ๋ ์ธ์ ์ด ๋์ด์ก๊ธฐ ๋๋ฌธ์ด์ฃ .๊ทธ๋ ๊ธฐ ๋๋ฌธ์ ์ ์์ ์๋ํ๋ ์์น์ธ public-nat ์๋ฒ๋ก ๋์์จ๊ฒ๋๋ค. ์ด ๋ถ๋ถ ๊ถ๊ธํ์ ๊ฒ ๋ง๋์?
- 0
- 2
- 20
Q&A
git action์คํ ์๋จ
์๋ ํ์ธ์ nayun1945๋ ์ง๊ธ nayun๋์ ๋ฃจํธ ์๋์ kafka-producer ๋๋ ํ ๋ฆฌ๊ฐ ์๊ณ ๊ทธ ์๋์ .github ๋๋ ํ ๋ฆฌ๊ฐ ์์ด์ ๊ทธ๋ ์ต๋๋ค. chatgpt์ ๋ง์ฒ๋ผ ๋ฃจํธ ๋ฐ๋ก ์๋์ .github ๋๋ ํ ๋ฆฌ๊ฐ ์์ด์ผ ํด์. ์ผ๋จ pycharm์์ ํด๋ openํ ๋ datalake ๋๋ ํ ๋ฆฌ๋ฅผ open ํ์ง ๋ง์๊ณ kafka-producer ๋๋ ํ ๋ฆฌ๋ฅผ open ํด์ ์ด์ด๋ณด์๊ฒ ์ด์? ๊ทธ๋ฌ๋ฉด kafka-producer ๋๋ ํ ๋ฆฌ๋ฅผ ๋ฃจํธ๋ก ์ผ์์ ์ด๊ฒ๋๊ณ ๊ทธ ์๋์ .github ๋๋ ํ ๋ฆฌ๊ฐ ์์นํ๊ฒ ๋ฉ๋๋ค. ๊ทธ ์ํ์์ git push ํ์ ์ผ ํด์.ํ๋ฒ ํด๋ณด์๊ณ ์๋์๋ฉด ๋ค์ ๋จ๊ฒจ์ฃผ์ธ์. ํ์ดํ ์ ๋๋ค! ๐ช
- 0
- 1
- 23
Q&A
macOS์์ docker ์ค์น
์๋ ํ์ธ์! wonseok.choi๋ ๋งฅ๋ถ์ MacOS๋ฅผ ์ฌ์ฉํ๋๋ฐ apt-get ๋ช ๋ น์ ubuntu ๊ณ์ด OS์์ ์ง์๋๋ ๊ธฐ๋ฅ์ ๋๋ค. docker ์ค์น๋ https://docs.docker.com/desktop/setup/install/mac-install/์ฌ๊ธฐ ๊ณต์ ํ์์ ๋ค์ด๋ก๋ํ ์ ์์ต๋๋ค. (์ฌ์ง)์ฌ๊ธฐ์ CPU ํ์ ์ ๋ง๋๊ฑธ๋ก ๋ค์ด๋ก๋ ๋ฐ์์ ์ค์นํ์๋ฉด ๋ฉ๋๋ค ^^
- 0
- 2
- 26
Q&A
github ๋ ํ์งํ ๋ฆฌ ์์ฑ ๋ฐ ์ฐ๊ฒฐ ๊ด๋ จ ์ง๋ฌธ๋๋ฆฝ๋๋ค!
์๋ ํ์ธ์ ๊น๋ฏผ๊ท๋ ์ฐ์ github์ด ํจ์ค์๋ ๋ฐฉ์์ ์ธ์ฆ์ ๋ง์์ต๋๋ค.์ ํํ๋ git clone์ด๋ pull์ ํตํด์ ๋ค๋ฅธ ์ฌ๋์ git repo๋ฅผ ๊ฐ์ ธ์ค๋๊ฑด ๋ณดํต ์ธ์ฆ์์ด ๊ฐ๋ฅํ๋ฐ, git push ํ๋ ค๋ฉด ์ธ์ฆ์ ํด์ผ ํฉ๋๋ค. ๊ทธ ๋ ํจ์ค์๋ ์ธ์ฆ์ด ์๋๊ณ ํ ํฐ ๋ฐฉ์์ผ๋ก ์ธ์ฆํ๋ค๊ณ ๋ณด๋ฉด ๋ ๊ฒ ๊ฐ์์. ์ฐธ๊ณ ๋ก ํ์ฌ ๊ฐ๋ฅํ ์ธ์ฆ ๋ฐฉ์์ด ๊ฐ์์์ ๋์จ ํ ํฐ ๋ฐฉ์์ด๋ SSH ํค ๋ฐฉ์ ๋ฑ์ด ์๋๋ฐ ํ ํฐ ๋ฐฉ์์ผ๋ก ์ธ์ฆํ๊ณ ์๋ค๊ณ ๋ณด๋ฉด ๋ ๊ฒ ๊ฐ์ต๋๋ค. ์ดํด ๋์ จ์๊น์? ๐
- 0
- 2
- 16
Q&A
Zookeeper ์ค์น ์ค๋ฅ
์๋ ํ์ธ์ ์ ์ ํ๋! ์ ๋ณดํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ์์์ ์์ ๋ ธํธ๋ก ์ ๊ฐ ์๋ฆผ ํด๋๋๋ก ํ๊ฒ ์ต๋๋ค.๐
- 0
- 3
- 28
Q&A
๋์ค์ฝ๋ ๋ง๋ฃ
์๋ ํ์ธ์ ์ ์ ํ๋์ด๋ ์ฝ๋๊ฐ ๋ง๋ฃ๋์ง ์์์ ์ ํํ์์๋ ๊ณ์ ๋ง๋ฃ๋๊ณ ์๋๋ฐ ์์ง ํด๊ฒฐ๋ฐฉ๋ฒ์ ๋ชป์ฐพ์์ต๋๋ค ๐์ผ๋จ ๋์ค์ฝ๋ ๋ฐฉ ์ด๋์ฝ๋ ์ ๋ฐ์ดํธํ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
- 0
- 2
- 25
Q&A
ETL ์ธํฐ๋ทฐ ๊ด๋ จ ๋ฌธ์
์๋ ํ์ธ์ min0๋!๋ต๋ณ์ด ์ข ๋ฆ์๋ค์. ๋ง์์ด ๊ธํ์คํ ๋ฐ ๋ฆ๊ฒ ๋ต์ฅ๋๋ ค ๋ฏธ์ํฉ๋๋ค ๐ํน์ ๊ฐ๋ฅํ์๋ค๋ฉด ์ ํํ ๊ฐ์ธ ๋ฉ์ผ๋ก ์ด๋ค ํ์ฌ์ธ์ง ์ค๋ช ์ ์ข ํด์ฃผ์๋ฉด ๊ด๋ จํด์ ๊ธฐ์ ์ ์ผ๋ก ๋ฌผ์ด๋ณผ๋ฒํ ๋ด์ฉ์ ์ ๊ฐ ํ์ ๋๋ฆด๊ป์.hjkim_sun@naver.com์ข์ ๊ฒฐ๊ณผ๊ฐ ์์ผ์๊ธธ ๋ฐ๋ผ๋ฉด์ ๋ฉ์ผ ์ฃผ์๋ฉด ์ ๋ ์ ๋ฆฌํด์ ๋ต์ฅ ๋๋ฆด๊ป์ ๐
- 0
- 2
- 34
Q&A
custom_image ๋๋ ํ ๋ฆฌ ๋ฌธ์๋๋ฆฝ๋๋ค.
์๋ ํ์ธ์ doran๋!airflow/custom_image ๋๋ ํ ๋ฆฌ ๋ง๋๋๊ฑด ์น์ 9. ๊ฐ์ 51์ ๋ ๋ง์ Provider ํ์ธ & Connection Type ์ถ๊ฐํ๊ธฐ ๊ณผ์ ์ ์์ต๋๋ค. ์ด ์ฑํฐ์์ hive ๊ด๋ จ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ถ๊ฐํ๋ฉด์ ๋์ปค ๋น๋๋ฅผ ์๋ก ํ๋ฉด์ custom_image ๋๋ ํ ๋ฆฌ ์์ ์ ๊ท ์ด๋ฏธ์ง๋ฅผ ์ ์ฅํ๋ ๊ณผ์ ์ ์ค๋ช ํ๊ณ ์์ต๋๋ค. ์ด๋ฏธ์ง ๋น๋ ๊ณผ์ ์ ๋นผ๋จน์ง ์๊ณ ํ์ จ๋ค๋ฉด ๋ค๋ฅธ ๋๋ ํ ๋ฆฌ์ Dockerfile ํ์ผ์ ์ ์ฅํด๋์ ๊ฑธ ์๋ ์์ ๋ฏ ํ๋ค์ ^^
- 0
- 2
- 22
Q&A
git action์์ install_codedeploy-agent.yml
์๋ ํ์ธ์ rosy๋๊ด์ฐฎ์ผ์๋ค๋ฉด ๋์ค์ฝ๋ ๋ฐฉ์ ๋ค์ด์ค์๊ฒ ์ด์? https://discord.gg/4k3CcXKP์ฌ๊ธฐ์ ์ ๊ฐ ์๋ฒ ์ํ ๋ณด๋ฉด์ ๊ฐ์ด๋ํ๋ฉด ์กฐ์น๊ฐ ๋นจ๋ฆฌ ๋ ๊ฒ ๊ฐ์ต๋๋ค.
- 0
- 2
- 28
Q&A
์น์ 9. Connection & Hook - 50๊ฐ ๊ด๋ จ ์ง๋ฌธ
์๋ ํ์ธ์ Idea๋ ํน์ ๋ชฐ๋ผ ์ ๋ ์ฌ์ํํด๋ดค๋๋ฐ 3.0 ๋ฒ์ ์์๋ ์ ์ํ๋ฉ๋๋ค.๊ทธ๋ฆฌ๊ณ plugins/hooks/custom_postgres_hooks.py ํ์ผ ๋ด์ฉ์ข ์ ์ฒด ์ฌ๋ ค๋ณด์๊ฒ ์ด์?๋ก๊ทธ์ ๊ทธ ํ์ผ์ 49๋ฒ์งธ ๋ผ์ธ์์ ์ค๋ฅ๊ฐ ๋ฐ์ํ๊ฑธ๋ก ๋์ค๋๋ฐ ์ด ํ์ผ์ 47๋ฒ์งธ ๋ผ์ธ์ด ๋์ ๋๋ค. ํน์ Idea๋์ด ์กฐ๊ธ ์์ ํ๋ฉด์ ์๋ชป ์์ ํ์ จ๊ฑฐ๋ ๋ณต๋ถ์ ์๋ชปํ์ ๊ฒ ์๋๊ฐ ์ถ์ด์. ์๋ฌดํผ ์ด ์๋ฌ๋ ํ์ด์ฌ ์ฝ๋์์ ์๋ฌ์ด๊ณ ํฌํธ๋งคํ๊ณผ๋ ์๊ด์๋ ๋ถ๋ถ์ ๋๋ค. ํ์ผ ์ ์ฒด ์ฌ๋ ค์ฃผ์๊ฑฐ๋ github ์ฃผ์ ์ฌ๋ ค์ฃผ์๋ฉด ์ ๊ฐ ๊ฐ์ ๋ณผ๊ป์!
- 0
- 2
- 54