์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

๋กœ์ปฌ LLM(Local LLM) ํ™œ์šฉ ๊ฐ€์ด๋“œ Part 1 - small LLM(sLLM) ํ™œ์šฉํ•˜๊ธฐ & LLM์˜ ์„ฑ๋Šฅ ํ‰๊ฐ€(Evaluation) ๋ฐ ๊ฐœ์„ ํ•˜๊ธฐ

๋‹ค์–‘ํ•œ ๋กœ์ปฌ LLM(Qwen, Gemma)์„ ํ™œ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ํ•™์Šตํ•˜๊ณ , LLM ์‹œ์Šคํ…œ์˜ ์„ฑ๋Šฅ์„ ํšจ์œจ์ ์œผ๋กœ ํ‰๊ฐ€(Evaluation)ํ•˜๊ณ  ๊ฐœ์„ ํ•˜๋Š” ๋‹ค์–‘ํ•œ ๊ธฐ๋ฒ•๋“ค์„ ์‚ดํŽด๋ด…๋‹ˆ๋‹ค.

27๋ช… ์ด ์ˆ˜๊ฐ•ํ•˜๊ณ  ์žˆ์–ด์š”.

๋‚œ์ด๋„ ์ค‘๊ธ‰์ด์ƒ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

์‹ค์Šต ์ค‘์‹ฌ
์‹ค์Šต ์ค‘์‹ฌ
AI ํ™œ์šฉ๋ฒ•
AI ํ™œ์šฉ๋ฒ•
์—์ด์ „ํŠธ
์—์ด์ „ํŠธ
์‹ค์Šต ์ค‘์‹ฌ
์‹ค์Šต ์ค‘์‹ฌ
AI ํ™œ์šฉ๋ฒ•
AI ํ™œ์šฉ๋ฒ•
์—์ด์ „ํŠธ
์—์ด์ „ํŠธ

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • ๋กœ์ปฌ LLM(Qwen, Gemma)๋ฅผ ์ด์šฉํ•ด์„œ AI ์—์ด์ „ํŠธ๋ฅผ ๊ตฌํ˜„ํ•˜๋Š” ๋ฒ•

  • LLM ์‹œ์Šคํ…œ์˜ ์„ฑ๋Šฅ์„ ํ‰๊ฐ€(Evaluation)ํ•˜๊ณ  ๊ฐœ์„ ํ•˜๋Š” ๋ฒ•

  • ๊ณ ํ’ˆ์งˆ AI ์—์ด์ „ํŠธ๋ฅผ ๊ตฌํ˜„ํ•˜๋Š” ๋ฒ•

๋กœ์ปฌ LLM(Qwen, Gemma) ํ™œ์šฉ ๋ฐฉ๋ฒ•์„ ํ•™์Šตํ•˜๊ณ , ๋‹ค์–‘ํ•œ ๋กœ์ปฌ LLM์œผ๋กœ AI ์—์ด์ „ํŠธ๋ฅผ ๊ตฌํ˜„ํ•ด๋ด…๋‹ˆ๋‹ค.

์‹ค์Šต์„ ํ†ตํ•ด ๋กœ์ปฌ LLM(Local LLM)์„ ํ™œ์šฉํ•ด์„œ ๋‹ค์–‘ํ•œ AI ์—์ด์ „ํŠธ๋ฅผ ๊ตฌํ˜„ํ•ด๋ด…๋‹ˆ๋‹ค.

  • ๋กœ์ปฌ LLM(Qwen, Gemma)์„ ํšจ์œจ์ ์œผ๋กœ ํ™œ์šฉํ•˜๋Š” ๋ฒ•

  • LLM ์‹œ์Šคํ…œ์˜ ์„ฑ๋Šฅ์„ ํšจ๊ณผ์ ์œผ๋กœ ํ‰๊ฐ€(Evaluation)ํ•˜๊ณ  ๊ฐœ์„ ํ•˜๋Š” ๋ฒ•


์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜ ์ถ”์ฒœํ•ด์š”

๋กœ์ปฌ LLM(Qwen, Gemma)์„ ํ™œ์šฉํ•ด์„œ AI ์—์ด์ „ํŠธ๋ฅผ

๋งŒ๋“ค์–ด๋ณด๊ณ  ์‹ถ์€ ๋ถ„

OpenAI API๊ฐ€ ์•„๋‹ˆ๋ผ ๋กœ์ปฌ LLM์œผ๋กœ AI ์—์ด์ „ํŠธ๋ฅผ ๊ตฌํ˜„ํ•ด๋ณด๊ณ  ์‹ถ์€ ๋ถ„

LLM ์‹œ์Šคํ…œ ๊ตฌํ˜„ ๋Šฅ๋ ฅ์„

ํ–ฅ์ƒ์‹œํ‚ค๊ณ  ์‹ถ์œผ์‹  ๋ถ„

LLM์˜ ์„ฑ๋Šฅ์„ ํšจ์œจ์ ์œผ๋กœ ํ‰๊ฐ€(Evaluation)ํ•˜๊ณ  ๊ฐœ์„ ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ํ•™์Šตํ•˜๊ณ  ์‹ถ์€ ๋ถ„

์ตœ์‹  AI ํŠธ๋ Œ๋“œ๋ฅผ

๋†“์น˜๊ณ  ์‹ถ์ง€ ์•Š์€ ๋ถ„

์ตœ์‹  LLM ๋ชจ๋ธ๋“ค์„ ํŒ”๋กœ์—…(follow-up)ํ•˜๋ฉด์„œ ์ตœ์‹  AI ํŠธ๋ Œ๋“œ๋ฅผ ๋†“์น˜์ง€์•Š๊ณ  ์‹ถ์€์‹  ๋ถ„

์„ ์ˆ˜๊ณผ์ •โœ…

๐Ÿ‘‹ ๋ณธ ๊ฐ•์˜๋Š” Python, ์ž์—ฐ์–ด์ฒ˜๋ฆฌ(NLP), LLM, ๋žญ์ฒด์ธ(LangChain), LangGraph์— ๋Œ€ํ•œ ์„ ์ˆ˜์ง€์‹์ด ํ•„์š”ํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค. ๋ฐ˜๋“œ์‹œ ์•„๋ž˜ ๊ฐ•์˜๋ฅผ ๋จผ์ € ์ˆ˜๊ฐ•ํ•˜์‹œ๊ฑฐ๋‚˜ ๊ทธ์— ์ค€ํ•˜๋Š” ์ง€์‹์„ ๊ฐ–์ถ˜ ๋’ค ๋ณธ ๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ•˜์„ธ์š”.

๋ชจ๋‘๋ฅผ ์œ„ํ•œ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ LLM Part 5 - LangGraph๋กœ ๋‚˜๋งŒ์˜ AI ์—์ด์ „ํŠธ ๋งŒ๋“ค๊ธฐ

Q&A ๐Ÿ’ฌ

Q. ๋กœ์ปฌ LLM(Local LLM)์ด๋ž€ ๋ฌด์—‡์ธ๊ฐ€์š”?

๋กœ์ปฌ(Local LLM)์€ โ€œ๋‚ด PC/์„œ๋ฒ„(๋กœ์ปฌ ํ™˜๊ฒฝ)์—์„œ ์ง์ ‘ ์‹คํ–‰ํ•˜๋Š” ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)โ€์„ ๋œปํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, OpenAI API์ฒ˜๋Ÿผ ํด๋ผ์šฐ๋“œ(์›๊ฒฉ ์„œ๋ฒ„)์— ์š”์ฒญ์„ ๋ณด๋‚ด๋Š” ๋ฐฉ์‹์ด ์•„๋‹ˆ๋ผ, ๋‚ด ์ปดํ“จํ„ฐ์˜ CPU/GPU์—์„œ ๋ชจ๋ธ์„ ๋Œ๋ ค์„œ ํ…์ŠคํŠธ ์ƒ์„ฑ/์š”์•ฝ/๋ฒˆ์—ญ/์ฝ”๋”ฉ ๋„์›€ ๋“ฑ์„ ํ•˜๋Š” ํ˜•ํƒœ์ž…๋‹ˆ๋‹ค. ๋Œ€ํ‘œ์ ์ธ ๋กœ์ปฌ LLM ๋ชจ๋ธ๋กœ Qwen๊ณผ Gemma ๋ชจ๋ธ์ด ์žˆ์Šต๋‹ˆ๋‹ค.


Q. ๋กœ์ปฌ LLM(Local LLM)์„ ํ™œ์šฉํ•  ๋•Œ์˜ ์žฅ์ ์€ ๋ฌด์—‡์ธ๊ฐ€์š”?

์˜คํ”ˆ์†Œ์Šค ๋กœ์ปฌ LLM์„ ํ™œ์šฉํ•  ๋•Œ์˜ ์žฅ์ ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  1. ๋ฐ์ดํ„ฐ ํ†ต์ œ/ํ”„๋ผ์ด๋ฒ„์‹œ

  • ๋ฏผ๊ฐ ๋ฐ์ดํ„ฐ(๋‚ด๋ถ€ ๋ฌธ์„œ, ๊ณ ๊ฐ์ •๋ณด)๋ฅผ ์™ธ๋ถ€ API๋กœ ๋ณด๋‚ด์ง€ ์•Š๊ณ  ์˜จํ”„๋ ˆ๋ฏธ์Šค/์‚ฌ๋‚ด VPC์—์„œ ์ฒ˜๋ฆฌ ๊ฐ€๋Šฅ.

  • ๋ณด์•ˆ๊ฐ์‚ฌ/๊ทœ์ •์ค€์ˆ˜(๊ธˆ์œตยท์˜๋ฃŒ ๋“ฑ)์—์„œ ์œ ๋ฆฌ.

  1. ๋น„์šฉ ๊ตฌ์กฐ๋ฅผ โ€˜์˜ˆ์ธก ๊ฐ€๋Šฅโ€™ํ•˜๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Œ

  • API์ฒ˜๋Ÿผ โ€œํ† ํฐ๋‹น ๊ณผ๊ธˆโ€์ด ์•„๋‹ˆ๋ผ GPU/์„œ๋ฒ„ ๋น„์šฉ์œผ๋กœ ๊ณ ์ •ํ™” ๊ฐ€๋Šฅ(ํŠธ๋ž˜ํ”ฝ์ด ํด์ˆ˜๋ก ์œ ๋ฆฌํ•ด์ง€๊ธฐ ์‰ฌ์›€).

  • ์บ์‹œ/๋ฐฐ์น˜/์–‘์žํ™” ๋“ฑ์œผ๋กœ ๋‹จ๊ฐ€๋ฅผ ์ง์ ‘ ๋‚ฎ์ถœ ์ˆ˜ ์žˆ์Œ.

  1. ์ปค์Šคํ„ฐ๋งˆ์ด์ง•(ํŠœ๋‹/๋„๋ฉ”์ธ ํŠนํ™”)์ด ์‰ฌ์›€

  • LoRA/QLoRA, DPO, RAG ํŠœ๋‹, ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ๊ณ ์ • ๋“ฑ ์—…๋ฌด ๋„๋ฉ”์ธ ๋งž์ถค ์ตœ์ ํ™”๊ฐ€ ๊ฐ€๋Šฅ.

  • ์ถœ๋ ฅ ํฌ๋งท(์˜ˆ: JSON ์—„๊ฒฉ), ์šฉ์–ด/ํ†ค/๊ทœ์น™ ์ค€์ˆ˜์œจ์„ ํ˜„์—… ๊ธฐ์ค€์œผ๋กœ ๋Œ์–ด์˜ฌ๋ฆฌ๊ธฐ ์ข‹์Œ.

  1. ๋ฒค๋” ๋ฝ์ธ ๊ฐ์†Œ

  • ํŠน์ • ํšŒ์‚ฌ์˜ ์ •์ฑ… ๋ณ€๊ฒฝ, ๊ฐ€๊ฒฉ ์ธ์ƒ, ๋ชจ๋ธ ๋‹จ์ข…, ๋ ˆ์ดํŠธ๋ฆฌ๋ฐ‹ ๋ณ€ํ™”์— ๋œ ํ”๋“ค๋ฆผ.

  • ํ•„์š”ํ•˜๋ฉด ์–ธ์ œ๋“  ๋‹ค๋ฅธ ๋ชจ๋ธ๋กœ ์Šค์œ„์นญ ๊ฐ€๋Šฅ.

  1. ํˆฌ๋ช…์„ฑ/๋””๋ฒ„๊น… ์ด์ 

  • ๊ฐ€์ค‘์น˜/์•„ํ‚คํ…์ฒ˜ ์ •๋ณด๊ฐ€ ๊ณต๊ฐœ๋˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•„, ์„ฑ๋Šฅ ์ด์Šˆ๋ฅผ ๋” ์ฒด๊ณ„์ ์œผ๋กœ ์ง„๋‹จ ๊ฐ€๋Šฅ.

  • ์•ˆ์ „์„ฑ/ํŽธํ–ฅ ํ…Œ์ŠคํŠธ๋ฅผ ๋‚ด๋ถ€ ๊ธฐ์ค€์œผ๋กœ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์‰ฌ์›€.


Q. ์„ ์ˆ˜ ์ง€์‹์ด ํ•„์š”ํ•œ๊ฐ€์š”?

๋ณธ [๋กœ์ปฌ LLM(Local LLM) ํ™œ์šฉ ๊ฐ€์ด๋“œ Part 1 - small LLM(sLLM) ํ™œ์šฉํ•˜๊ธฐ & LLM์˜ ์„ฑ๋Šฅ ํ‰๊ฐ€(Evaluation) ๋ฐ ๊ฐœ์„ ํ•˜๊ธฐ] ๊ฐ•์˜๋Š” ๋žญ์ฒด์ธ(LangChain),๋žญ๊ทธ๋ž˜ํ”„(LangGraph) ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์™€ LLM์„ ์ด์šฉํ•ด์„œ AI ์—์ด์ „ํŠธ๋ฅผ ๊ตฌํ˜„ํ•˜๋Š” ํ”„๋กœ์ ํŠธ ์‹ค์Šต์„ ๋‹ค๋ฃจ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ Python, ์ž์—ฐ์–ด์ฒ˜๋ฆฌ, LLM, ๋žญ์ฒด์ธ(LangChain), ๋žญ๊ทธ๋ž˜ํ”„(LangGraph)์— ๋Œ€ํ•œ ๊ธฐ์ดˆ์ง€์‹์„ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค๋Š” ๊ฐ€์ •ํ•˜์— ๊ฐ•์˜๊ฐ€ ์ง„ํ–‰๋ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์„ ์ˆ˜์ง€์‹์ด ๋ถ€์กฑํ•˜๋‹ค๋ฉด ๋ฐ˜๋“œ์‹œ ์„ ํ–‰ ๊ฐ•์˜์ธ [๋ชจ๋‘๋ฅผ ์œ„ํ•œ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ LLM Part 5 - LangGraph๋กœ ๋‚˜๋งŒ์˜ AI ์—์ด์ „ํŠธ ๋งŒ๋“ค๊ธฐ] ๊ฐ•์˜๋ฅผ ๋จผ์ € ์ˆ˜๊ฐ•ํ•˜์‹œ๊ธธ ๋ฐ”๋ž๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ๋กœ์ปฌ LLM(Local LLM) ํ™œ์šฉ๋ฒ•์„ ํ•™์Šตํ•˜๊ณ  ์‹ถ์€ ๋ถ„

  • ๋กœ์ปฌ LLM(Qwen, Gemma)์œผ๋กœ AI ์—์ด์ „ํŠธ๋ฅผ ๋งŒ๋“ค์–ด๋ณด๊ณ  ์‹ถ์€ ๋ถ„

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • Python ์‚ฌ์šฉ ๊ฒฝํ—˜

  • ์„ ์ˆ˜๊ฐ•์˜ [๋ชจ๋‘๋ฅผ ์œ„ํ•œ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ LLM Part 5 - LangGraph๋กœ ๋‚˜๋งŒ์˜ AI ์—์ด์ „ํŠธ ๋งŒ๋“ค๊ธฐ] ์ˆ˜๊ฐ•๊ฒฝํ—˜

์•ˆ๋…•ํ•˜์„ธ์š”
AISchool์ž…๋‹ˆ๋‹ค.

9,698

๋ช…

์ˆ˜๊ฐ•์ƒ

746

๊ฐœ

์ˆ˜๊ฐ•ํ‰

356

๊ฐœ

๋‹ต๋ณ€

4.6

์ 

๊ฐ•์˜ ํ‰์ 

32

๊ฐœ

๊ฐ•์˜

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

44๊ฐœ โˆ™ (8์‹œ๊ฐ„ 28๋ถ„)

๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์•„์ง ์ถฉ๋ถ„ํ•œ ํ‰๊ฐ€๋ฅผ ๋ฐ›์ง€ ๋ชปํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.
๋ชจ๋‘์—๊ฒŒ ๋„์›€์ด ๋˜๋Š” ์ˆ˜๊ฐ•ํ‰์˜ ์ฃผ์ธ๊ณต์ด ๋˜์–ด์ฃผ์„ธ์š”!

AISchool๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

๋น„์Šทํ•œ ๊ฐ•์˜

๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

โ‚ฉ66,000