์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

์ฒ˜์Œ ํ•ด๋ณด๋Š” ๋งž์ถคํ˜• LLM ๋งŒ๋“ค๊ธฐ โ€“ LoRA & QLoRA ํŒŒ์ธํŠœ๋‹ ์ž…๋ฌธ

โ€œLoRA ๊ธฐ๋ฐ˜ ๊ฒฝ๋Ÿ‰ ํŒŒ์ธํŠœ๋‹์œผ๋กœ ๋‚˜๋งŒ์˜ ๋งž์ถคํ˜• LLM์„ ๋งŒ๋“ค์–ด๋ณด๋Š” ์ฒซ๊ฑธ์Œ!โ€ ์ด ๊ฐ•์˜๋Š” ์ฒ˜์Œ LLM์„ ์ ‘ํ•˜๋Š” ๋ถ„๋„ ์‰ฝ๊ฒŒ ๋”ฐ๋ผ์˜ฌ ์ˆ˜ ์žˆ๋„๋ก ์„ค๊ณ„๋œ ์ž…๋ฌธ ์‹ค์Šต ๊ฐ•์˜์ž…๋‹ˆ๋‹ค. ๋ณต์žกํ•œ ์ด๋ก ์€ ์ตœ์†Œํ™”ํ•˜๊ณ , ๋ชจ๋ธ ๋ถˆ๋Ÿฌ์˜ค๊ธฐ โ†’ ๋ฐ์ดํ„ฐ ์ ์šฉ โ†’ ํ•™์Šต โ†’ ๊ฒฐ๊ณผ ๋น„๊ต๊นŒ์ง€ ์ „ ๊ณผ์ •์„ ๋‹จ๊ณ„๋ณ„๋กœ ์•ˆ๋‚ดํ•ฉ๋‹ˆ๋‹ค. ์งง์€ ์‹œ๊ฐ„ ์•ˆ์— LoRAยทQLoRA์™€ ๊ฐ™์€ ์ตœ์‹  ๊ฒฝ๋Ÿ‰ ํŒŒ์ธํŠœ๋‹ ๊ธฐ๋ฒ•์˜ ํ๋ฆ„์„ ์ง์ ‘ ๊ฒฝํ—˜ํ•˜๋ฉฐ, โ€œLLM ํŒŒ์ธํŠœ๋‹์ด ์ด๋ ‡๊ฒŒ ๋Œ์•„๊ฐ€๋Š”๊ตฌ๋‚˜โ€๋ผ๋Š” ๊ฐ์„ ์žก์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ์ž์›์ด ์—†์–ด๋„, ๋‚ด ๋„๋ฉ”์ธ์— ํŠนํ™”๋œ LLM์„ ๋งŒ๋“ค์–ด๋ณด๋Š” ์„ฑ์ทจ๊ฐ์„ ์ง์ ‘ ๋А๊ปด๋ณด์„ธ์š”!

(4.7) ์ˆ˜๊ฐ•ํ‰ 38๊ฐœ

์ˆ˜๊ฐ•์ƒ 322๋ช…

๋‚œ์ด๋„ ์ž…๋ฌธ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

ํŒŒ์ธํŠœ๋‹
ํŒŒ์ธํŠœ๋‹
๋งž์ถคํ˜•llm
๋งž์ถคํ˜•llm
๋„๋ฉ”์ธํŠนํ™”
๋„๋ฉ”์ธํŠนํ™”
llm์„ฑ๋Šฅํ‰๊ฐ€๋ฐํŠœ๋‹
llm์„ฑ๋Šฅํ‰๊ฐ€๋ฐํŠœ๋‹
llm
llm
ํŒŒ์ธํŠœ๋‹
ํŒŒ์ธํŠœ๋‹
๋งž์ถคํ˜•llm
๋งž์ถคํ˜•llm
๋„๋ฉ”์ธํŠนํ™”
๋„๋ฉ”์ธํŠนํ™”
llm์„ฑ๋Šฅํ‰๊ฐ€๋ฐํŠœ๋‹
llm์„ฑ๋Šฅํ‰๊ฐ€๋ฐํŠœ๋‹
llm
llm

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

4.7

5.0

๊น€ํ˜•์šฑ

32% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

๊ธฐ๋ณธ๊ฐœ๋… ์ž˜ ์žก์•„์คŒ

5.0

์™ˆ์™ˆ

100% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

"์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ํŒŒ์ธํŠœ๋‹ ๋ง›๋ณด๊ธฐ ์ •๋„์˜ ๊ฐ•์˜" - ํŒŒ์ธํŠœ๋‹์ด ์–ด๋–ค ๊ฒƒ์ธ์ง€ ํ™•์ธํ•ด๋ณด๊ณ  ์‹ถ์€ ์‚ฌ๋žŒ๋“ค์—๊ฒŒ ์ถ”์ฒœ - ํŒŒ์ธํŠœ๋‹์„ ์ง์ ‘ ์ ์šฉํ•˜๊ณ ์ž ํ•˜๋Š” ํ˜„์—… ๊ฐœ๋ฐœ์ž๋Š” ๋น„์ถ”์ฒœ ์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜์ธ ๋งŒํผ ๊นŠ์ง€ ์•Š๊ณ  ์‰ฌ์šด ๋‚ด์šฉ์ž…๋‹ˆ๋‹ค. ์‹ค์Šต์ฝ”๋“œ๋„ ๋งค์šฐ ๊ฐ„๋‹จ ๊ฐ„๊ฒฐํ•ฉ๋‹ˆ๋‹ค.

5.0

ogu0312

32% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

์žฌ๋ฏธ์žˆ์–ด์š”

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • ํŒŒ์ธํŠœ๋‹์ด ๋ฌด์—‡์ธ์ง€, ๊ทธ๋ฆฌ๊ณ  LoRAยทQLoRA๊ฐ€ ์™œ ํ•„์š”ํ•œ์ง€ ์‰ฝ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ค€๋น„๋œ ์ฝ”๋“œ๋ฅผ ์‹คํ–‰ํ•˜๋ฉฐ, ์ž‘์€ ์–ธ์–ด๋ชจ๋ธ(sLLM)์„ ์ง์ ‘ ๋ถˆ๋Ÿฌ์˜ค๊ณ  ํ•™์Šต์‹œ์ผœ๋ณด๋Š” ๊ณผ์ •์„ ๊ฒฝํ—˜ํ•ฉ๋‹ˆ๋‹ค.

  • ๋งŽ์€ ์ž์›์ด๋‚˜ ์–ด๋ ค์šด ์ด๋ก  ์—†์ด๋„, ๋‚ด ๋ถ„์•ผ์— ๋งž๋Š” ๋งž์ถคํ˜• LLM์„ ๋งŒ๋“ค์–ด๋ณด๋Š” ํ๋ฆ„์„ ์ตํž™๋‹ˆ๋‹ค.

๋Œ€ํ˜• ์–ธ์–ด๋ชจ๋ธ(LLM), LLM ํŒŒ์ธํŠœ๋‹, ์–ด๋””์„œ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•ด์•ผ ํ• ๊นŒ?

โ€œLLM ํŒŒ์ธํŠœ๋‹, ์–ด๋””์„œ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•ด์•ผ ํ• ๊นŒ?โ€

์ด ๊ฐ•์˜๋Š” ์ž…๋ฌธ์ž๋ถ„๋“ค์ด ํŒŒ์ธํŠœ๋‹์˜ ๊ฐœ๋…๊ณผ ์ „์ฒด ํ๋ฆ„์„ ๋น ๋ฅด๊ฒŒ ์ตํžˆ๊ณ , ์ง์ ‘ ์‹ค์Šตํ•ด๋ณผ ์ˆ˜ ์žˆ๋„๋ก ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

๋ณต์žกํ•œ ์ˆ˜ํ•™์ด๋‚˜ ๊ณ ๊ธ‰ ์ด๋ก ์€ ๊ณผ๊ฐํžˆ ์ค„์ด๊ณ , ๋ชจ๋ธ ๋ถˆ๋Ÿฌ์˜ค๊ธฐ โ†’ ํ•™์Šต์‹œํ‚ค๊ธฐ โ†’ ๊ฒฐ๊ณผ ๋น„๊ต๊นŒ์ง€ ๋‹จ๊ณ„๋ณ„๋กœ ๊ฒฝํ—˜ํ•˜๋ฉฐ โ€œ์•„, ํŒŒ์ธํŠœ๋‹์ด ์ด๋ ‡๊ฒŒ ๋Œ์•„๊ฐ€๋Š”๊ตฌ๋‚˜โ€๋ฅผ ๋ชธ์œผ๋กœ ๋А๋‚„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฌด์—‡๋ณด๋‹ค ์ด 22๊ฐœ ๊ฐ•์˜, ์•ฝ 1์‹œ๊ฐ„์œผ๋กœ ์งง๊ณ  ๊ฐ„๊ฒฐํ•˜๊ฒŒ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์–ด, ์ฒ˜์Œ ์ ‘ํ•˜๋Š” ๋ถ„๋“ค๋„ ๋ถ€๋‹ด ์—†์ด ๋”ฐ๋ผ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ‘‰ ์ฐธ๊ณ ๋กœ, ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ• ๋ฐฉ๋ฒ•์ด๋‚˜ Huggingface/Unsloth์˜ ์‹ฌํ™” ํ™œ์šฉ๋ฒ•์€ ์ด๋ฒˆ ๊ฐ•์˜์˜ ๋ฒ”์œ„๋ฅผ ๋„˜์–ด๊ฐ€์ง€๋งŒ, ํ–ฅํ›„ ๊ณ ๊ธ‰ยท์‹ฌํ™” ๊ณผ์ •์—์„œ ๋‹ค๋ฃฐ ์˜ˆ์ •์ž…๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋ฒˆ ๊ฐ•์˜์—์„œ๋Š” ์ž…๋ฌธ์ž๋„ ์„ฑ์ทจ๊ฐ์„ ๋А๋ผ๋ฉฐ ์ „์ฒด ๊ทธ๋ฆผ์„ ํŒŒ์•…ํ•˜๋Š” ๋ฐ ์ดˆ์ ์„ ๋‘์—ˆ์Šต๋‹ˆ๋‹ค.

์ด ๊ฐ•์˜์˜ ํŠน์ง•

๐Ÿ“Œ์ตœ์‹  ๊ฒฝ๋Ÿ‰ ํŒŒ์ธํŠœ๋‹ ๊ธฐ๋ฒ• ์™„์ „ ์ •๋ณต

LoRA, QLoRA, PEFT ๋“ฑ ์ตœ์‹  ๊ธฐ๋ฒ•์„ ๊ธฐ์ดˆ๋ถ€ํ„ฐ ์ฐจ๊ทผ์ฐจ๊ทผ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ“Œ๋‹ค์–‘ํ•œ ๋ชจ๋ธ ์‹ค์Šต ์ ์šฉ

GPT-2, BERT ๊ฐ™์€ ๊ณ ์ „ ๋ชจ๋ธ๋ถ€ํ„ฐ OPT-350M, Llama 3.1 ๋“ฑ ์ตœ์‹  ๋ชจ๋ธ๊นŒ์ง€ ์ง์ ‘ ์ ์šฉํ•ด๋ด…๋‹ˆ๋‹ค.

๐Ÿ“Œ์„ฑ๋Šฅ ๋น„๊ต ๋ถ„์„ ํฌํ•จ

Full Fine-tuning๊ณผ LoRA ๋ฐฉ์‹์˜ ์„ฑ๋Šฅ์„ ์ง์ ‘ ๋น„๊ตํ•˜๋ฉฐ ์ฐจ์ด๋ฅผ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ“Œ์ž…๋ฌธ์ž ์นœํ™”์  ๊ตฌ์„ฑ

์ฒ˜์Œ ์ ‘ํ•˜๋Š” ๋ถ„๋„ ์‰ฝ๊ฒŒ ๋”ฐ๋ผ์˜ฌ ์ˆ˜ ์žˆ๋„๋ก ๋‹จ๊ณ„๋ณ„ ํ•™์Šต ํ๋ฆ„์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ“Œ์‹ค์Šต ์ค‘์‹ฌ์˜ ๊ฐ•์˜

Hugging Face์™€ PyTorch ๊ธฐ๋ฐ˜์˜ ์‹ค์Šต์„ ํ†ตํ•ด llm ํŒŒ์ธํŠœ๋‹์— ๋Œ€ํ•œ ๊ฐ๊ฐ์„ ์ตํž™๋‹ˆ๋‹ค.

๐Ÿ“Œํ•œ๋ˆˆ์— ๋ณด๋Š” LLM ํŒŒ์ธํŠœ๋‹

๋ถˆํ•„์š”ํ•œ ๊ตฐ๋”๋”๊ธฐ ์—†์ด ํ•ต์‹ฌ๋งŒ ๋‹ด์•„, ์•ฝ 1์‹œ๊ฐ„ ์•ˆ์— ์ „์ฒด ํ๋ฆ„์„ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜ ์ถ”์ฒœํ•ด์š”

ChatGPT๋Š” ์จ๋ดค์ง€๋งŒ, ๋‚ด ๋ฐ์ดํ„ฐ๋กœ ์ง์ ‘ ํŠœ๋‹ํ•˜๊ณ  ์‹ถ์€ ์‹ ์ž… ๊ฐœ๋ฐœ์ž

LLM์„ ์‹ค์ œ๋กœ ์‹ค์Šตํ•˜๋ฉฐ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ AI ์ž…๋ฌธ ๊ฐœ๋ฐœ์ž

LLM ํŒŒ์ธํŠœ๋‹์˜ ์ „์ฒด ๊ทธ๋ฆผ์„ ์งง์€ ์‹œ๊ฐ„ ์•ˆ์— ์žก๊ณ  ์‹ถ์€ ๋ถ„
LoRAยทQLoRA ๊ฐ™์€ ์ตœ์‹  ๊ธฐ๋ฒ•์ด ๊ถ๊ธˆํ•˜์ง€๋งŒ, ์•„์ง ์–ด๋ ค์šด ์ด๋ก ์€ ๋ถ€๋‹ด์Šค๋Ÿฌ์šด ๋ถ„. ๊ณ ๊ธ‰ ๊ณผ์ •์œผ๋กœ ๋‚˜์•„๊ฐ€๊ธฐ ์ „, ๋ถ€๋‹ด ์—†๋Š” ์ฒซ๊ฑธ์Œ์„ ์›ํ•˜๋Š” ๋ถ„

LoRA, QLoRA๊ฐ€ ๋ญ”์ง€ ๋ชจ๋ฅด๊ฒ ์ง€๋งŒ ๋“ค์–ด๋ณธ ์ ์€ ์žˆ๋Š” LLM ์ž…๋ฌธ์ž
๋ณต์žกํ•œ ์ด๋ก  ์—†์ด, ์‹ค์Šต ์ค‘์‹ฌ์œผ๋กœ ๊ฒฝ๋Ÿ‰ ํŒŒ์ธํŠœ๋‹ ๊ฐœ๋…์„ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์ตํž ์ˆ˜ ์žˆ์–ด์š”.

์ˆ˜๊ฐ• ํ›„์—๋Š”

  • LoRA์˜ ๊ตฌ์กฐ์™€ ๊ฐœ๋…์„ ์ดํ•ดํ•˜๊ณ , ๋‹ค์–‘ํ•œ ๋ชจ๋ธ์— ์ง์ ‘ ์ ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋‚ด ๋ถ„์•ผ์— ํŠนํ™”๋œ LLM์„ ๋งŒ๋“ค๊ธฐ ์œ„ํ•œ ์ „์ฒด ํ๋ฆ„๊ณผ ์‹ค์Šต ๊ฒฝํ—˜์„ ๊ฐ–์ถ”๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

  • ํŒŒ์ธํŠœ๋‹ ๊ฒฐ๊ณผ๋ฅผ ์ง์ ‘ ๋น„๊ตํ•˜๊ณ , ์ ์ ˆํ•œ ์ „๋žต์„ ์Šค์Šค๋กœ ์„ ํƒํ•  ์ˆ˜ ์žˆ๋Š” ์•ˆ๋ชฉ์ด ์ƒ๊น๋‹ˆ๋‹ค.

  • ๋‚˜๋งŒ์˜ ๋„๋ฉ”์ธ ์ง€์‹ ๊ธฐ๋ฐ˜ LLM ๊ฐœ๋ฐœ์— ๋Œ€ํ•œ ๊ฐ์„ ์žก์„ ์ˆ˜ ์žˆ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.


์ด๋Ÿฐ ๋‚ด์šฉ์„ ๋ฐฐ์›Œ์š”.

ํŒŒ์ธํŠœ๋‹ ๊ธฐ๋ณธ ๊ฐœ๋… ์ดํ•ด

  • ์‚ฌ์ „ํ•™์Šต๋œ LLM์„ ๋‚ด ๋„๋ฉ”์ธ์— ๋งž๊ฒŒ ์ตœ์ ํ™”ํ•˜๋Š” ํŒŒ์ธํŠœ๋‹์˜ ์›๋ฆฌ๋ฅผ ๋ฐฐ์›Œ์š”.


LoRA & QLoRA ๊ตฌ์กฐ ์ดํ•ด

  • ๋ณต์žกํ•œ ์ด๋ก  ์—†์ด, ๊ฒฝ๋Ÿ‰ ํŒŒ์ธํŠœ๋‹์˜ ํ•ต์‹ฌ ์›๋ฆฌ๋ฅผ ์‰ฝ๊ฒŒ ์ดํ•ดํ•ด์š”.


Full vs. LoRA ์„ฑ๋Šฅ ๋น„๊ต

  • ํŒŒ์ธํŠœ๋‹ ๋ฐฉ์‹์— ๋”ฐ๋ฅธ ์„ฑ๋Šฅ ์ฐจ์ด๋ฅผ ์‹คํ—˜์œผ๋กœ ์ฒด๊ฐํ•ด์š”.


Huggingface + PyTorch ํ™œ์šฉ๋ฒ•

  • ์‹ค์ œ LLM ํŒŒ์ธํŠœ๋‹์— ํ•„์š”ํ•œ ํ•„์ˆ˜ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ตํ˜€์š”.

์ด ๊ฐ•์˜๋ฅผ ๋งŒ๋“  ์‚ฌ๋žŒ

์•ˆ๋…•ํ•˜์„ธ์š”, ์ƒ์„ฑํ˜• AI ๋ฐ LLM ํŒŒ์ธํŠœ๋‹ ์‹ค๋ฌด์— ์ง„์‹ฌ์ธ
ํ•ดํ”ผAI ๋Œ€ํ‘œ ์ด์ง„๊ทœ์ž…๋‹ˆ๋‹ค.

AI ๋Œ€ํ•™์›์—์„œ ์ž์—ฐ์–ด์ฒ˜๋ฆฌ ๋ฐ LLM์„ ์ „๊ณตํ•˜๊ณ , ์ดํ›„
์‚ผ์„ฑ์ „์ž, ์„œ์šธ๋Œ€ํ•™๊ต, ํ•œ๊ตญ์ „๋ ฅ๊ณต์‚ฌ ๋“ฑ๊ณผ ํ•จ๊ป˜ 200๊ฑด ์ด์ƒ์˜ AIยทRAG ํ”„๋กœ์ ํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•˜๋ฉฐ
Private LLM ๊ตฌ์ถ•, ํŒŒ์ธํŠœ๋‹, ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ RAG ๋“ฑ์˜ ์‹ค๋ฌด ๊ฒฝํ—˜์„ ์Œ“์•„์™”์Šต๋‹ˆ๋‹ค.

ํŠนํžˆ ์ตœ๊ทผ์—๋Š” ๋‹ค์–‘ํ•œ ๊ธฐ์—… ๋ฐ ๊ณต๊ณต๊ธฐ๊ด€ ๋Œ€์ƒ
LangChain, RAG, Agent LLM ๊ด€๋ จ ์‹ค์Šตํ˜• ๊ฐ•์˜๋ฅผ ๋‹ค์ˆ˜ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋ฒˆ ๊ฐ•์˜๋Š”,
โ ์ž…๋ฌธ์ž๋„ ๋ณต์žกํ•œ ์ด๋ก  ์—†์ด LoRA ๊ธฐ๋ฐ˜ ํŒŒ์ธํŠœ๋‹์„ ๋”ฐ๋ผํ•  ์ˆ˜ ์žˆ๋„๋ก โž
์ˆ˜๋งŽ์€ ์‹ค๋ฌด ๊ฒฝํ—˜์„ ๋ฐ”ํƒ•์œผ๋กœ ์ง์ ‘ ๋ชจ๋ธ์„ ๋‹ค๋ค„๋ณด๋ฉฐ ์ตํžˆ๋Š” ๊ตฌ์กฐ๋กœ ์„ค๊ณ„ํ–ˆ์Šต๋‹ˆ๋‹ค.


๐Ÿ“Œ ์ฃผ์š” ์ด๋ ฅ ์š”์•ฝ

  • 2024~ ํ•ดํ”ผAI ๋Œ€ํ‘œ (์ƒ์„ฑํ˜• AIยทRAG ์ „๋ฌธ ๊ธฐ์—… ์šด์˜)

  • AI ๋Œ€ํ•™์› ๋ฐ•์‚ฌ๊ณผ์ • ์ˆ˜๋ฃŒ (LLM & ์ž์—ฐ์–ด์ฒ˜๋ฆฌ ์ „๊ณต)

  • ํผ๋ธ”๋ฆญ๋‰ด์Šค AI ์นผ๋Ÿผ๋‹ˆ์ŠคํŠธ (LLM, ํŽธํ–ฅ ์ด์Šˆ ๋“ฑ ์—ฐ์žฌ)

  • ์ด 200๊ฑด ์ด์ƒ์˜ LLMยทRAG ํ”„๋กœ์ ํŠธ ์‹ค๋ฌด ๊ฒฝํ—˜ ๋ณด์œ 


๐Ÿ“š ๊ฐ•์˜ ๋ฐ ํ™œ๋™ ์˜ˆ์‹œ

  • KT โ€“ LLM ๊ธฐ๋ฐ˜ Agent LLM ๊ฐœ๋ฐœ ๊ฐ•์˜

  • ์‚ผ์„ฑSDS โ€“ LangChain & RAG ์‹ค์Šต ๊ฐ•์˜

  • ์„œ์šธ๋””์ง€ํ„ธ์žฌ๋‹จ โ€“ LLM ์ด๋ก  ๋ฐ RAG ์ฑ—๋ด‡ ๊ฐœ๋ฐœ

์ด์™ธ์—๋„ ๋‹ค์ˆ˜ ๊ธฐ์—…์ฒด์—์„œ LLM ๋น…๋ฐ์ดํ„ฐ ๊ฐ•์˜ ์ง„


๐Ÿ”— ๊ด€๋ จ ๋งํฌ

์ˆ˜๊ฐ• ์ „ ์ฐธ๊ณ  ์‚ฌํ•ญ

์‹ค์Šต ํ™˜๊ฒฝ

  • ๋ชจ๋“  ์‹ค์Šต ์ฝ”๋“œ๋Š” Google Colab ๊ธฐ๋ฐ˜์œผ๋กœ ์ œ๊ณต


  • ์ฐธ๊ณ  ๋ฌธ์„œ ๋ฐ ์ •๋ฆฌ๋œ ๋…ธํŠธ๋Š” ๋งํฌ๋ฅผ ํ†ตํ•ด ์•ˆ๋‚ด.

ํ•™์Šต ์ž๋ฃŒ

  • ๋…ธ์…˜ ๋งํฌ๋กœ ์ œ๊ณตํ•ด ๋“œ๋ฆฝ๋‹ˆ๋‹ค!

์„ ์ˆ˜ ์ง€์‹ ๋ฐ ์œ ์˜์‚ฌํ•ญ

  • ํŒŒ์ด์ฌ ๊ธฐ๋ณธ ๋ฌธ๋ฒ•


  • ๊ธฐ๋ณธ์ ์ธ AI ๋ฐ LLM ์ง€์‹(LLM๊ธฐ์ดˆ ์ด๋ก ์„ ์•„์‹ ๋‹ค๋ฉด์ข‹์Šต๋‹ˆ๋‹ค.)

  • Chrome ๋ธŒ๋ผ์šฐ์ €์™€ Google ๊ณ„์ •๋งŒ ์žˆ์œผ๋ฉด ์ˆ˜๊ฐ• ๊ฐ€๋Šฅ

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ChatGPT ๊ฐ™์€ LLM์€ ๋“ค์–ด๋ดค์ง€๋งŒ, ์ง์ ‘ ํŒŒ์ธํŠœ๋‹์„ ํ•ด๋ณธ ์ ์€ ์—†๋Š” LLM ์ž…๋ฌธ์ž

  • LoRAยทQLoRA ๊ฐ™์€ ์ตœ์‹  ๊ธฐ๋ฒ•์„ ์ง์ ‘ ์‹คํ–‰ํ•ด ๋ณด๋ฉฐ ๊ธฐ๋ณธ ํ๋ฆ„์„ ์ตํžˆ๊ณ  ์‹ถ์€ ์ดˆ๊ธ‰ ๊ฐœ๋ฐœ์žยท์—ฐ๊ตฌ์ž

  • sLLM(์ž‘์€ ์–ธ์–ด๋ชจ๋ธ)์„ ์ง์ ‘ ์‹คํ–‰ํ•˜๊ณ  ๊ฐ€๋ณ๊ฒŒ ํŠœ๋‹ํ•ด๋ณด๋ฉฐ ํ๋ฆ„์„ ์ตํžˆ๊ณ  ์‹ถ์€ ๋ถ„

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • Python ๊ธฐ๋ณธ ๋ฌธ๋ฒ• (๋ณ€์ˆ˜, ํ•จ์ˆ˜, ์กฐ๊ฑด๋ฌธ ๋“ฑ)

  • ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ์ดˆ ๊ฐœ๋… (๋ชจ๋ธ, ํ•™์Šต, ์†์‹ค ํ•จ์ˆ˜ ๋“ฑ์— ๋Œ€ํ•œ ๊ธฐ๋ณธ ์ดํ•ด)

  • PyTorch ๋˜๋Š” Colab ์‚ฌ์šฉ ๊ฒฝํ—˜์ด ์žˆ๋‹ค๋ฉด ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค

์•ˆ๋…•ํ•˜์„ธ์š”
HappyAI์ž…๋‹ˆ๋‹ค.

4,722

๋ช…

์ˆ˜๊ฐ•์ƒ

256

๊ฐœ

์ˆ˜๊ฐ•ํ‰

51

๊ฐœ

๋‹ต๋ณ€

4.6

์ 

๊ฐ•์˜ ํ‰์ 

11

๊ฐœ

๊ฐ•์˜

์ด์ง„๊ทœ | Lee JinKyu

AIยทLLMยท๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์ „๋ฌธ๊ฐ€ / ํ•ดํ”ผAI ๋Œ€ํ‘œ

๐Ÿ‘‰์ƒ์„ธ ์ด๋ ฅ์€ ์•„๋ž˜ ๋งํฌ์—์„œ ํ™•์ธํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
https://bit.ly/jinkyu-profile

์•ˆ๋…•ํ•˜์„ธ์š”.
AI์™€ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์—ฐ๊ตฌยท๊ฐœ๋ฐœยท๊ต์œกยทํ”„๋กœ์ ํŠธ ํ˜„์žฅ์—์„œ ๊พธ์ค€ํžˆ ๋‹ค๋ค„์˜จ
ํ•ดํ”ผAI ๋Œ€ํ‘œ ์ด์ง„๊ทœ(๊ณตํ•™๋ฐ•์‚ฌ, ์ธ๊ณต์ง€๋Šฅ)์ž…๋‹ˆ๋‹ค.

์ž์—ฐ์–ด์ฒ˜๋ฆฌ(NLP)์™€ ํ…์ŠคํŠธ๋งˆ์ด๋‹์„ ๊ธฐ๋ฐ˜์œผ๋กœ
์„ค๋ฌธ, ๋ฌธ์„œ, ๋ฆฌ๋ทฐ, ์–ธ๋ก , ์ •์ฑ…, ํ•™์ˆ  ๋ฐ์ดํ„ฐ ๋“ฑ
๋‹ค์–‘ํ•œ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•ด ์™”์œผ๋ฉฐ,
์ตœ๊ทผ์—๋Š” ์ƒ์„ฑํ˜• AI์™€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)์„ ํ™œ์šฉํ•ด
์กฐ์ง๊ณผ ์—…๋ฌด ํ™˜๊ฒฝ์— ๋งž๋Š” ์‹ค๋ฌด ์ค‘์‹ฌ์˜ AI ํ™œ์šฉ ๋ฐฉ๋ฒ•์„ ์ „๋‹ฌํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์‚ผ์„ฑ์ „์ž, ์„œ์šธ๋Œ€ํ•™๊ต, ๊ต์œก์ฒญ, ๊ฒฝ๊ธฐ์—ฐ๊ตฌ์›, ์‚ฐ๋ฆผ์ฒญ,
๊ตญ๋ฆฝ๊ณต์›๊ด€๋ฆฌ๊ณต๋‹จ, ์„œ์šธ์‹œ ๋“ฑ ๋‹ค์ˆ˜์˜ ๊ณต๊ณต๊ธฐ๊ด€ยท๊ธฐ์—…ยท๊ต์œก๊ธฐ๊ด€๊ณผ ํ˜‘์—…ํ–ˆ์œผ๋ฉฐ,
์˜๋ฃŒยท์ปค๋จธ์Šคยท์ƒํƒœยท๋ฒ•ํ•™ยท๊ฒฝ์ œยท๋ฌธํ™” ๋“ฑ ๋‹ค์–‘ํ•œ ๋„๋ฉ”์ธ์—์„œ ์ด 200๊ฑด ์ด์ƒ์˜ ์—ฐ๊ตฌยท๋ถ„์„ ํ”„๋กœ์ ํŠธ๋ฅผ ์ˆ˜ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค.

 


๐ŸŽ’ ๊ฐ•์—ฐ ๋ฐ ์™ธ์ฃผ ๋ฌธ์˜

โ€ป ํฌ๋ชฝ Prime ์ „๋ฌธ๊ฐ€ (์ƒ์œ„ 2%)


๐Ÿ“˜ Bio (์š”์•ฝ)

  • 2024.07 ~ ํ˜„์žฌ
    ์ƒ์„ฑํ˜• AIยท๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์ „๋ฌธ๊ธฐ์—… ํ•ดํ”ผAI ๋Œ€ํ‘œ

  • ๊ณตํ•™๋ฐ•์‚ฌ(์ธ๊ณต์ง€๋Šฅ)
    ๋™๊ตญ๋Œ€ํ•™๊ต ์ธ๊ณต์ง€๋Šฅ๋Œ€ํ•™์›

     

    ์„ธ๋ถ€์ „๊ณต: ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)

     

    (2022.03 ~ 2026.02)

     

  • 2023 ~ 2025
    ํผ๋ธ”๋ฆญ๋‰ด์Šค AI ์นผ๋Ÿผ๋‹ˆ์ŠคํŠธ
    (์ƒ์„ฑํ˜• AI ํŽธํ–ฅ, RAG, LLM ํ™œ์šฉ ์ด์Šˆ)

  • 2021 ~ 2023
    AIยท๋น…๋ฐ์ดํ„ฐ ์ „๋ฌธ๊ธฐ์—… ์Šคํ…”๋ผ๋น„์ „ ๊ฐœ๋ฐœ์ž

  • 2018 ~ 2021
    ์ •๋ถ€์ถœ์—ฐ์—ฐ๊ตฌ๊ธฐ๊ด€ ์ž์—ฐ์–ด์ฒ˜๋ฆฌยท๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์—ฐ๊ตฌ์›


๐Ÿ”น ์ „๋ฌธ ๋ถ„์•ผ (๊ฐ•์˜ยทํ”„๋กœ์ ํŠธ ์ค‘์‹ฌ)

  • ์ƒ์„ฑํ˜• AI ๋ฐ LLM ํ™œ์šฉ

    • Private LLM, RAG, Agent

    • LoRAยทQLoRA ํŒŒ์ธํŠœ๋‹ ๊ธฐ์ดˆ

  • AI ๊ธฐ๋ฐ˜ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„

    • ์„ค๋ฌธยท๋ฆฌ๋ทฐยท์–ธ๋ก ยท์ •์ฑ…ยทํ•™์ˆ  ๋ฐ์ดํ„ฐ

  • ์ž์—ฐ์–ด์ฒ˜๋ฆฌ(NLP)ยทํ…์ŠคํŠธ๋งˆ์ด๋‹

    • ํ† ํ”ฝ ๋ถ„์„, ๊ฐ์„ฑ ๋ถ„์„, ํ‚ค์›Œ๋“œ ๋„คํŠธ์›Œํฌ

  • ๊ณต๊ณตยท๊ธฐ์—… AI ์—…๋ฌด ์ž๋™ํ™”

    • ๋ฌธ์„œ ์š”์•ฝยท๋ถ„๋ฅ˜ยท๋ถ„์„

       


๐ŸŽ’ Courses & Activities (์„ ๋ณ„)

2025

  • LLM/sLLM ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ
    (ํŒŒ์ธํŠœ๋‹ยทRAGยทAgent ๊ธฐ๋ฐ˜) โ€“ KT

2024

  • LangChainยทRAG ๊ธฐ๋ฐ˜ LLM ํ”„๋กœ๊ทธ๋ž˜๋ฐ โ€“ ์‚ผ์„ฑSDS

  • LLM ์ด๋ก  ๋ฐ RAG ์ฑ—๋ด‡ ๊ฐœ๋ฐœ ์‹ค๋ฌด โ€“ ์„œ์šธ๋””์ง€ํ„ธ์žฌ๋‹จ

  • ChatGPT ๊ธฐ๋ฐ˜ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์ž…๋ฌธ โ€“ ๋ ›์œ ์ธ์—๋“€

  • ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ดˆยทํ”„๋กฌํ”„ํŠธ ๊ธฐ๋ฒ• โ€“ ํ•œ๊ตญ์ง์—…๊ฐœ๋ฐœ์›

  • LDAยท๊ฐ์„ฑ๋ถ„์„ with ChatGPT โ€“ ์ธํ”„๋Ÿฐ

  • ํŒŒ์ด์ฌ ๊ธฐ๋ฐ˜ ํ…์ŠคํŠธ ๋ถ„์„ โ€“ ์„œ์šธ๊ณผํ•™๊ธฐ์ˆ ๋Œ€ํ•™๊ต

  • LangChain ํ™œ์šฉ LLM ์ฑ—๋ด‡ ๋งŒ๋“ค๊ธฐ โ€“ ์ธํ”„๋Ÿฐ

2023

  • ChatGPT ํ™œ์šฉ ํŒŒ์ด์ฌ ๊ธฐ์ดˆ โ€“ ๊ฒฝ๊ธฐ๋Œ€ํ•™๊ต

  • ๋น…๋ฐ์ดํ„ฐ ์ „๋ฌธ๊ฐ€ ๊ณผ์ • ํŠน๊ฐ• โ€“ ๋‹จ๊ตญ๋Œ€ํ•™๊ต

  • ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ธฐ์ดˆ โ€“ ๋ ›์œ ์ธ์—๋“€


๐Ÿ’ป Projects (์š”์•ฝ)

  • Private LLM ๊ธฐ๋ฐ˜ RAG ์ฑ—๋ด‡ ๊ตฌ์ถ• (ํ•œ๊ตญ์ „๋ ฅ๊ณต์‚ฌ)

  • LLM ๊ธฐ๋ฐ˜ ์‚ฐ๋ฆผ ๋ณต์› ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ (๊ตญ๋ฆฝ์‚ฐ๋ฆผ๊ณผํ•™์›)

  • ๋‚ด๋ถ€๋ง ์ „์šฉ Private LLM ํ…์ŠคํŠธ๋งˆ์ด๋‹ ์†”๋ฃจ์…˜ (์ •๋ถ€๊ธฐ๊ด€)

  • Instruction TuningยทRLHF ๊ธฐ๋ฐ˜ LLM ๋ชจ๋ธ ๊ฐœ๋ฐœ

  • ํ—ฌ์Šค์ผ€์–ดยท๋ฒ•ํ•™ยท์ •์ฑ…ยท๊ต์œก ๋ฐ์ดํ„ฐ ๋ถ„์„

  • ์„ค๋ฌธยท๋ฆฌ๋ทฐยท์–ธ๋ก  ๋ฐ์ดํ„ฐ AI ๋ถ„์„

โ†’ ๊ณต๊ณต๊ธฐ๊ด€ยท๊ธฐ์—…ยท์—ฐ๊ตฌ๊ธฐ๊ด€ ํฌํ•จ 200๊ฑด ์ด์ƒ ์ˆ˜ํ–‰


๐Ÿ“– Publication (์„ ๋ณ„)

  • Improving Commonsense Bias Classification by Mitigating the Influence of Demographic Terms (2024)

  • Improving Generation of Sentiment Commonsense by Bias Mitigation
    โ€“ International Conference on Big Data and Smart Computing (2023)

  • ์–ธ๋ก ๊ธฐ์‚ฌ ๋น…๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ LLM ๊ธฐ์ˆ  ์ธ์‹ ๋ถ„์„ (2024)

  • NLP ๊ธฐ๋ฐ˜ ํ…์ŠคํŠธ๋งˆ์ด๋‹ ์—ฐ๊ตฌ ๋‹ค์ˆ˜
    (์‚ฐ๋ฆผยทํ™˜๊ฒฝยท์‚ฌํšŒยทํ—ฌ์Šค์ผ€์–ด ๋ถ„์•ผ)


๐Ÿ”น ๊ธฐํƒ€

  • Python ๊ธฐ๋ฐ˜ ๋ฐ์ดํ„ฐ ๋ถ„์„ยท์‹œ๊ฐํ™”

  • LLM์„ ํ™œ์šฉํ•œ ๋ฐ์ดํ„ฐ ๋ถ„์„

  • ChatGPTยทLangChainยทAgent๋ฅผ ํ™œ์šฉํ•œ ์—…๋ฌด ์ƒ์‚ฐ์„ฑ ํ–ฅ์ƒ

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

22๊ฐœ โˆ™ (1์‹œ๊ฐ„ 9๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

38๊ฐœ

4.7

38๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

  • Dev Admin๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    Dev Admin

    ์ˆ˜๊ฐ•ํ‰ 3

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    64% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    • doup2001๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
      doup2001

      ์ˆ˜๊ฐ•ํ‰ 8

      โˆ™

      ํ‰๊ท  ํ‰์  5.0

      5

      32% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

      • ์กฐํ˜œ์ •๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
        ์กฐํ˜œ์ •

        ์ˆ˜๊ฐ•ํ‰ 8

        โˆ™

        ํ‰๊ท  ํ‰์  4.9

        4

        95% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

        ์ตœ์‹  ๋…ผ๋ฌธ์œผ๋กœ ์ „๋ฐ˜์ ์ธ ๋‚ด์šฉ์„ ์ดํ•ดํ•  ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

        • ์™ˆ์™ˆ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
          ์™ˆ์™ˆ

          ์ˆ˜๊ฐ•ํ‰ 1

          โˆ™

          ํ‰๊ท  ํ‰์  5.0

          ์ˆ˜์ •๋จ

          5

          100% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

          "์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ํŒŒ์ธํŠœ๋‹ ๋ง›๋ณด๊ธฐ ์ •๋„์˜ ๊ฐ•์˜" - ํŒŒ์ธํŠœ๋‹์ด ์–ด๋–ค ๊ฒƒ์ธ์ง€ ํ™•์ธํ•ด๋ณด๊ณ  ์‹ถ์€ ์‚ฌ๋žŒ๋“ค์—๊ฒŒ ์ถ”์ฒœ - ํŒŒ์ธํŠœ๋‹์„ ์ง์ ‘ ์ ์šฉํ•˜๊ณ ์ž ํ•˜๋Š” ํ˜„์—… ๊ฐœ๋ฐœ์ž๋Š” ๋น„์ถ”์ฒœ ์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜์ธ ๋งŒํผ ๊นŠ์ง€ ์•Š๊ณ  ์‰ฌ์šด ๋‚ด์šฉ์ž…๋‹ˆ๋‹ค. ์‹ค์Šต์ฝ”๋“œ๋„ ๋งค์šฐ ๊ฐ„๋‹จ ๊ฐ„๊ฒฐํ•ฉ๋‹ˆ๋‹ค.

          • ๊น€ํ˜•์šฑ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
            ๊น€ํ˜•์šฑ

            ์ˆ˜๊ฐ•ํ‰ 1

            โˆ™

            ํ‰๊ท  ํ‰์  5.0

            5

            32% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

            ๊ธฐ๋ณธ๊ฐœ๋… ์ž˜ ์žก์•„์คŒ

            HappyAI๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

            ์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

            ๋น„์Šทํ•œ ๊ฐ•์˜

            ๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

            โ‚ฉ22,000