์ค๋ฌด์ ๋ฐ๋ก ์ ์ฉํ๋ AWS ๋ฐฐํฌ
AWS๋ก ์๋น์ค๋ฅผ ๋ฐฐํฌ/์ด์ํ๊ณ ์ถ์ ๋ถ๋ค์ ์ํด ์ค๋นํ์ต๋๋ค. ๋๋ฉ์ธ ์ค์ ๋ถํฐ ๋์ปค์ ์๋ฒ๋ฆฌ์ค๊น์ง!
์๊ฐ์ 131๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

์ธ๋ ํ์ธ์, ๊ฐ๋ณ์ง์ ๋๋ค.
์๋ ํ์ธ์, ์ต๊ทผ ์ข์ ๊ธฐํ๋ก ์ค๋ ์คํ๋์ค์ '์์ด์ค ๋ฆฌํฌํธ'์ ์ฐธ์ฌํด ์ ์ ์ปค๋ฆฌ์ด ์คํ ๋ฆฌ๋ฅผ ๊ณต์ ํ๊ฒ ๋์์ต๋๋ค.
์๋ก์ด ์์์ ์๋๊ณ ์์ง๋ง, ์ด ์์์ด ๋น ํ ํฌ ์ด์ง์ ๋ ธํ์ฐ๋ฅผ ๋ค๋ฃจ๊ธฐ๋ณด๋ค๋ ์ ๊ฐ ๊ทธ๋์ ์ผ์ ๋ํ๋ฉฐ ๊ณ ๋ฏผํ๊ณ ๊ฒฝํํ๋ ์๊ฐ๋ค์ ๋ด๋ดํ๊ฒ ํ์ด๋ด๋ ์๋ฆฌ๊ฐ ๋์์ต๋๋ค.
๋์๋ณด๋ฉด ์ ์ ์ปค๋ฆฌ์ด๋ ์ฑ๊ณต๋ณด๋ค๋ ์คํจ์ ๋ ๊ฐ๊น์ ๋ ๊ฒ ๊ฐ์ต๋๋ค. ๋งํฌ๋์ธ์๋ ๊ธฐ๋ก๋์ง ์์ ์ฐฝ์ ๊ณผ ํ์ ์ ๊ฒฝํ๋ค, ํฉ๊ฒฉ๋ณด๋ค ํจ์ฌ ๋ง์๋ ๋ถํฉ๊ฒฉ์ ์๊ฐ๋ค์ด ์์์ต๋๋ค. ํ์ง๋ง ๊ทธ ๊ณผ์ ์์ ์ป์ ๋ฐฐ์๊ณผ ๊ตํ๋ค์ด ์์๊ธฐ์ ์ง๊ธ์ ์ ๊ฐ ์๋ค๊ณ ์๊ฐํฉ๋๋ค.
'์ผ์๋ฌ'๋ผ๋ ์ ๋ชฉ์ ์กฐ๊ธ ์ฅ์ค๋ฝ์ง๋ง, ๋์์์ด ๋์ ํ๊ณ ๊ทธ ์์์ ๋ฐฐ์ฐ๊ณ ์ ํ๋ ์ ์ ์ด์ผ๊ธฐ๊ฐ ๋น์ทํ ๊ณ ๋ฏผ์ ํ์๋ ๋ถ๋ค๊ป ์กฐ๊ธ์ด๋๋ง ๊ฐ๋ฟ๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
์๊ฐ ๋ด์ด ์์ฒญํด์ฃผ์๊ณ , ์์์ ๋ํ ์๊ฐ๋ ๋๋ ์ฃผ์๋ฉด ํฐ ํ์ด ๋ ๊ฒ ๊ฐ์ต๋๋ค.
https://youtu.be/UR9PL1Jz-qs?si=nYUszHC3GrU21K-Q
์๊ฐํด์ฃผ์๋ ์๊ฐ์ ์ฌ๋ฌ๋ถ๋ค ๊ฐ์ฌ๋๋ฆฌ๊ณ , ๊ฐ์ ์๊ฐํ์๋ฉด์ ์ค๋ช ์ด ๋ถ์กฑํ ๋ถ๋ถ์ด๋, ์ดํด๊ฐ ๋์ง ์๋ ๋ถ๋ถ๋ค, ๊ทธ๋ฆฌ๊ณ ํ์ ์ ์ ์ฉํ์๋ฉด์ ๋ง์ฃผํ์๋ ์ด๋ ค์๋ค์ ์ง๋ฌธ์ผ๋ก ์ฌ๋ ค์ฃผ์๋ฉด ์ต๋ํ ๋น ๋ฅด๊ฒ ๋ต๋ณ ๋๋ฆฌ๊ฒ ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค
๊ฐ๋ณ์ง ๋๋ฆผ
LLM ์๋น์ค ๊ฐ๋ฐ/์ด์์ ๊ณ ๋ฏผํ๊ณ ๊ณ์ ๊ฐ์? ์ ํฌ ํ์ฌ์์ LlamaIndex์ LLM ๊ฐ๋ฐ/์ด์ ๋ ธํ์ฐ๋ฅผ ๊ณต์ ํ๋ ๋ฐ์ ์ ์งํํ ์์ ์ด๋ผ ํด๋น ์ ๋ณด๋ฅผ ์ ๋ฌ๋๋ฆฝ๋๋ค~
LLM ์๋น์ค๋ฅผ ์ด์ํ๊ฑฐ๋ ์์ํ๋ ค๋ ๊ฐ๋ฐ์๋ฅผ ์ํ LLM Workshop, ์ 2ํ GenAI Connect Day๊ฐ 9์ 26์ผ GSํ์์์ ์ด๋ฆฝ๋๋ค. ์ด๋ฒ ํ์ฌ๋ GS๊ทธ๋ฃน์ Open Innovation ์ปค๋ฎค๋ํฐ 52g์์ LlamaIndex, DeepLearning.AI ์ Pie&AI์ ํจ๊ป ์์ก๊ณ ๊ฐ์ตํฉ๋๋ค. LlamaIndex์ AI Engineer Pierre-Loic Doulcet ๊ฐ ํ์ฅ์์ ๋ฐํํ ์์ ์ด๊ณ , Liner์ Hoon Heo ๋๊ณผ AutoRAG๋ฅผ ์ฐ๊ตฌํ์๋ Jeffrey Kim ๋์ด ์ค์ ์ LLM ์๋น์ค ๊ฐ๋ฐ ๊ด๋ จ ๋ ธํ์ฐ์ ์ธ์ฌ์ดํธ๋ฅผ ๋๋์ด ์ฃผ์ค ์์ ์ ๋๋ค. ๋ค์ํ ๋ถ์ผ์ AI ์์ง๋์ด์ ํจ๊ป ๋ง์ ์ธ์ฌ์ดํธ๋ฅผ ์ป์ผ์๊ณ ์ ํํฐ ๋น์ดํํฐ์์ ๋คํธ์ํน ๊ธฐํ๋ ์ป์ด๊ฐ์ จ์ผ๋ฉด ์ข๊ฒ ์ต๋๋ค!
[์๋ด] GenAI Connect Day #2 : LlamaIndex x 52g
๐ ์ผ์ : 2024. 9. 26.(๋ชฉ) ์ ๋ 6์ 30๋ถ ~
๐ข ์ฅ์ : GSํ์ 25์ธต Keeeet Open Hall
๐ ๋์ : LLM ํ์ฉํด์ ์๋น์ค๋ฅผ ๊ฐ๋ฐํ๊ณ ์๋ ๊ฐ๋ฐ์
๐จ ์ ์ฒญ ๊ธฐ๊ฐ : 2024. 9. 9(์) ~ 2024. 9. 24 (ํ)
โ ์ฐ์ฌ์๊ฐ ๋ฐ ์ ์ฒญ๋งํฌ : https://bit.ly/52g-genai-2
๐ ๋ฌธ์ : (์ฃผ)GS ๊ฐ๋ณ์ง ๋งค๋์ (jason.kang@gs.co.kr)
๊ณต์(?)์ ์ผ๋ก๋ ์๋ ค์ง์ง ์์์ง๋ง ๊ฐ๋ฐ์๋ค์ ์ํ ๋ค์ํ ์ํ๋ค์ ์ค๋นํ ์์ ์ด๋ ๋ง์ ๊ด์ฌ ๋ถํ๋๋ฆฝ๋๋ค!

์๋ ํ์ธ์, ๊ฐ๋ณ์ง์ ๋๋ค.
์์ฆ ํํ Large Language Model (LLM)์ ํ์ฉํด์ RAG๋ฅผ ๊ตฌ์ฑํ๋ ๊ฐ์๋ฅผ ์ถ์ํ์ต๋๋ค.
์์ฆ ํ์ฌ์์ ์ฃผ ์ ๋ฌด์ด๊ธฐ๋ ํ๊ณ , ์ ๊ฐ ์๋ ๋ถํฐ ์ด๊ฑธ๋ก ๋๋ฌด ๋ง์ ๊ณ ์์ํด์.... ๋ค๋ฅธ๋ถ๋ค์ ์กฐ๊ธ ๋ ๊ณ ์ํ์ จ์ผ๋ฉด ํ๋ ๋ง์์ ๊ฐ์๋ฅผ ์ค๋นํ๊ฒ ๋์์ต๋๋ค.
๊ฐ์๋ OpenAI API๋ฅผ ํ์ฉํ๋๋ฐ, LangChain์ ํ์ฉํ๊ธฐ ๋๋ฌธ์, Claude, Cohere, Upstage๋ฑ๋ฑ LangChain์์ ํ์ฉํ๋ ํจํค์ง๋ฅผ ์ฌ์ฉํ๋ฉด ์ฝ๊ฒ ๋ฐ๋ผํ์ค ์ ์์ต๋๋ค. ๊ฐ์ ๋ด์ฉ์ ๋ณด์๋ฉด LCEL์์
llm์ ํด๋นํ๋ ๋ถ๋ถ๋งChatAnthropic,ChatCohere,ChatUpstage๋ฑ์ ํ์ฉํ์๋ฉด ๋๊ณ ,Ollama๋ฅผ ํ์ฉํด์ Llama3๋ฅผ ํ์ฉํ๊ณ ์ถ์ผ์ ๋ถ๋ค์ChatOllama๋ฅผ ์ฌ์ฉํ์๋ฉด ๋ฉ๋๋ค.ํน์
Ollama๋ฅผ ํ์ฉํ ๊ฐ์๊ฐ ํ์ํ์๊ฑฐ๋, LLM ๊ด๋ จํด์ ๋ ์๊ณ ์ถ์ผ์ ๋ถ๋ถ์ด ์์ผ์๋ค๋ฉด ์๊ฐํ์ด๋ ๊ฐ์ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์๊ฑฐ๋jasonkang14@gmail.com์ผ๋ก ๋ง์ํด์ฃผ์๋ฉด, ๋ค์ ๊ฐ์๋ฅผ ์ค๋นํ๋๋ฐ ๋์์ด ๋ ๊ฒ ๊ฐ์ต๋๋ค!์๋ ํ์ธ์, ๊ฐ๋ณ์ง์ ๋๋ค.
๊ฐ์๋ฅผ ์ถ์ํ์ง 1์ฃผ์ผ์ ๋ ๋๋๋ฐ, ๋ง์ ๊ด์ฌ ๋ณด์ฌ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค.
2.5 Auto Scaling Group์ ํ์ฉํ ์์ ์ ์ธ ์๋น์ค ์ด์์น์ ์์ ์ด๋ป๊ฒ ๋ค์ํ ์๋๋ค์ ์ถ๊ฐํ ์ ์๋์ง ์ค๋ช ๋๋ฆฌ๋๋ฐ, ์ค์ ๋ก ์ธ์คํด์ค๊ฐ ๋์ด๋๊ณ ์ค์ด๋๋ ๊ฒ์ ๋ณด์๋ฉด ์ข์ ๊ฒ ๊ฐ์์Scheduled Action์ ํ์ฉํ๋ ๋ฐฉ๋ฒ์ ์ถ๊ฐํ์ต๋๋ค.๊ฐ์์์ ์ค๋ช ๋๋ฆฌ๋ ๊ฒ์ฒ๋ผ
ํน์ ํ ๋ ์ ํธ๋ํฝ์ด ๋ชฐ๋ฆด ๊ฒ์ผ๋ก ์์๋ ๋์์ฃผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ ๋๋ค. ์๋ฅผ๋ค๋ฉด ๊ธ์์ผ 23์์ ๋ํ์ ์คํํ๋ค๊ฑฐ๋, ์ด๋ฒคํธ๊ฐ ์์ ๋, ํธ๋ํฝ์ด ๋ชฐ๋ฆฌ๋ ๊ฒ์ ์ฌ์ ์ ๋๋นํ๋ ๋ฐฉ๋ฒ์ ๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ด๋ป๊ฒํ๋ฉด ๋์ด๋ ์ธ์คํด์ค๋ฅผ ๋ค์ ์ค์ผ ์ ์๋์ง๋ ํด๋น ์น์ ์ ๋ด์์ต๋๋ค.์ด๋ฏธ ์๊ฐํ์ ๋ถ๋ค๋ ์์ผ์ ๋ฐ, ์ถ๊ฐ๋ ์น์ ๋ ์ฐธ๊ณ ํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์์ ์๋ด๋๋ฆฝ๋๋ค.
๊ฐ์ ์๊ฐํ์๋ค๊ฐ ๊ถ๊ธํ์๊ฑฐ๋, ์ดํด๊ฐ ์๋์๊ฑฐ๋, ์ค๋ช ์ด ๋ถ์กฑํ ๋ถ๋ถ์ ์ง๋ฌธ์ผ๋ก ์ฌ๋ ค์ฃผ์ธ์! ๊ฐ์ ์๋ฃ๋ ์์์ ์ ๋ฐ์ดํธ ํ๋๋ก ํ๊ฒ ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.






