์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

AI ๋งˆ์Šคํ„ฐ๋ฅผ ์œ„ํ•œ LLM ์•„ํ‚คํ…์ฒ˜ ์ดํ•ด์™€ GPU ํ™œ์šฉ์ „๋žต

ํŠธ๋žœ์Šคํฌ๋จธ ๊ธฐ๋ฐ˜ LLM ์•„ํ‚คํ…์ฒ˜์™€ GPU ํ™œ์šฉ ์ „๋žต์„ ์ดํ•ดํ•˜๊ณ , vLLM์„ ํ™œ์šฉํ•œ ์‹ค์ œ ์„œ๋น™ ๊ณผ์ •๊นŒ์ง€ ์ง์ ‘ ์‹ค์Šตํ•ฉ๋‹ˆ๋‹ค. AI ์‹œ์Šคํ…œ ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ•๋ถ€ํ„ฐ ๋ชจ๋‹ˆํ„ฐ๋ง, ๋ฉ€ํ‹ฐ GPU ํ™œ์šฉ๊นŒ์ง€ ์‹ค๋ฌด ํ๋ฆ„ ์ „์ฒด๋ฅผ ๋‹ค๋ฃจ๋ฉฐ, ๋ณต์žกํ•œ ์ˆ˜์‹ ์—†์ด ๊ทธ๋ฆผ๊ณผ ์‹ค์Šต ์ค‘์‹ฌ์œผ๋กœ ์ง๊ด€์ ์œผ๋กœ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก ๊ตฌ์„ฑํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

(5.0) ์ˆ˜๊ฐ•ํ‰ 20๊ฐœ

์ˆ˜๊ฐ•์ƒ 237๋ช…

๋‚œ์ด๋„ ์ดˆ๊ธ‰

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

์—”์”จ์†Œํ”„ํŠธ
CJ
์ผ€์ดํ‹ฐ
SK๊ทธ๋ฃน
๋„ค์ด๋ฒ„์ œํŠธ

๋„ค์ด๋ฒ„์ œํŠธ

์ž„์ง์›๋“ค๋„ ์ด ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ์žˆ์–ด์š”!

์—”์”จ์†Œํ”„ํŠธ
CJ
์ผ€์ดํ‹ฐ
SK๊ทธ๋ฃน
๋„ค์ด๋ฒ„์ œํŠธ

๋„ค์ด๋ฒ„์ œํŠธ

์ž„์ง์›๋“ค๋„ ์ด ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ์žˆ์–ด์š”!

๋จผ์ € ๊ฒฝํ—˜ํ•œ ์ˆ˜๊ฐ•์ƒ๋“ค์˜ ํ›„๊ธฐ

5.0

5.0

WonJune Lee

43% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

์ €๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ด€๋ จ ์—…์ข…์€ ์•„๋‹ˆ๊ณ  ์ปดํ“จํ„ฐ ๋น„์ „(rule-based) ๋ถ„์•ผ์—์„œ ์ผํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํšŒ์‚ฌ์— LLM๊ณผ ๋น„์ „์ชฝ ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ์ˆ ์ด ํ•„์š”ํ•˜์—ฌ ๊ด€๋ จ ์ฃผ์ œ ๊ณต๋ถ€ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์•„์ง 40%์ •๋„๋ฐ–์— ์•ˆ๋“ค์—ˆ์ง€๋งŒ ์ˆ˜๊ฐ•ํ‰์„ ์ ์–ด์•ผ๊ฒ ๋‹ค ์‹ถ์–ด์„œ ์˜ฌ๋ฆฝ๋‹ˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹ ๊ด€๋ จ ๊ฐ•์˜๋“ค๋„ ๋งŽ์ด ๋“ค์–ด๋ณด๊ณ  ๋‚˜๋ฆ„ ์œ ๋ช…ํ•˜๊ณ  ํ‰ ์ข‹์€ ๋ถ„๋“ค ๊ฐ•์˜๋„ ๋“ค์–ด๋ดค์ง€๋งŒ ์ด ๊ฐ•์˜๋งŒํผ ๊น”๋”ํ•œ ๊ฐ•์˜๋Š” ์—†์—ˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€์žฅ ์ข‹์€๊ฑด ๊ฐ•์˜ ์ž๋ฃŒ ํ€„๋ฆฌํ‹ฐ๊ฐ€ ํ›Œ๋ฅญํ•ฉ๋‹ˆ๋‹ค. ์—‘์…€๋กœ ํ–‰๋ ฌ ๊ณ„์‚ฐ ํ•˜๋‚˜ํ•˜๋‚˜ ์ ์–ด๋‘์…จ๋Š”๋ฐ ๋ณต์Šตํ• ๋•Œ ์ •๋ง ๋งŽ์ด ๋„์›€๋ฉ๋‹ˆ๋‹ค. ํŒŒ์ด์ฌ ์ฝ”๋“œ๋„ ๋งŽ์€ ๊ณณ์— ์ฃผ์„์ด ๋‹ฌ๋ ค์žˆ๊ตฌ์š”. ๊ฐ•์˜ ํ€„๋ฆฌํ‹ฐ๋„ ์ข‹์•„์„œ ์ˆ˜๊ฐ•์ƒ๋“ค์ด ๊นŒ๋จน์—ˆ์„๊ฒƒ ๊ฐ™์€ ๋ถ€๋ถ„์€ ๋ฆฌ๋งˆ์ธ๋“œ ์‹œ์ผœ์ฃผ์…”์„œ ๋†“์น˜์ง€ ์•Š๊ฒŒ ํ•ด์ฃผ์–ด์„œ ์ข‹์•˜์Šต๋‹ˆ๋‹ค. ๊ณ„์‚ฐ๋„ ๋Œ€๋ถ€๋ถ„ ๋‹ค๋ฅธ ๊ฐ•์˜์—์„  ํ•œ๋‘๋ฒˆ ๋ณด์—ฌ์ฃผ๋ฉด ๋„˜๊ธฐ๋Š”๋ฐ ์ด ๊ฐ•์˜์—์„  ๋๊นŒ์ง€ ๊ฐ™์ด ๊ณ„์‚ฐํ•ด์ค˜์„œ ํ™•์‹คํ•ด์„œ ์ข‹์•˜์Šต๋‹ˆ๋‹ค. Q&A๋„ ์ˆ˜์‹œ๋กœ ๋ณด์‹œ๋Š”์ง€ ์งˆ๋ฌธ ์˜ฌ๋ฆฌ๋ฉด ๋ฐ”๋กœ ๋‹ต๋ณ€์ฃผ์…”์„œ ์ข‹์•˜๊ตฌ์š”. ๊ฐ•์˜๋ฅผ ์•„๋งˆ ์˜ฌํ•ด ์ฐ์œผ์‹ ๊ฑฐ ๊ฐ™์€๋ฐ ๊ทธ๋ž˜์„œ ๊ทธ๋Ÿฐ์ง€ ์ตœ์‹  ํŠธ๋ Œ๋“œ ๋‚ด์šฉ์ด ๋งŽ์•„์„œ ์ข‹์Šต๋‹ˆ๋‹ค. ์•„์ง ์ž…์†Œ๋ฌธ์ด ๋œ ํƒ„ ๊ฐ•์˜ ๊ฐ™์€๋ฐ ๊ด€๋ จ ์ฃผ์ œ๋กœ ๊ณต๋ถ€๊ฐ€ ํ•„์š”ํ•˜์‹  ๋ถ„๋“ค๊ป˜ ์ •๋ง ๊ฐ•์ถ”๋“œ๋ฆฝ๋‹ˆ๋‹ค.

5.0

illheon

19% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

๋‹ค๋ฃจ๋Š” ์†Œ์žฌ๋‚˜ ์ž…๋ฌธ์œผ๋กœ์ข‹์•„์š”

5.0

๊น€๋ฏผํ˜•

31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

๊ต‰์žฅํžˆ ์ „๋ฌธ์„ฑ ์žˆ๊ณ , ์ƒ๊ฐ๋ณด๋‹ค ํ›จ์”ฌ ๋””ํ…Œ์ผํ•œ ๊ฐ•์˜์— ๋†€๋ž์Šต๋‹ˆ๋‹ค. ์ด์ •๋„ ํ€„๋ฆฌํ‹ฐ์˜ ๊ฐ•์˜ ์˜ค๋žœ๋งŒ์— ๋ณด๋Š”๋“ฏ ํ•˜๋„ค์š”.. ์ง๋ฌด๊ฐ€ AI ๊ด€๋ จ ์—”์ง€๋‹ˆ์–ด๋ง์„ ์ˆ˜ํ–‰ํ•˜๋Š” ์ง๋ฌด๋ผ, ๊ทธ๋ƒฅ ๋ณ„ ์ƒ๊ฐ์—†์ด LLM Architecture ๊ธฐ๋ณธ๋งŒ ๋Œ€์ถฉ ๊ณต๋ถ€ํ• ๊นŒ ํ•˜๊ณ  ๊ตฌ๋งคํ–ˆ๋Š”๋ฐ.. ๋„ˆ๋ฌด ๋งŒ์กฑ์Šค๋Ÿฝ๋„ค์š”.

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ ์ธ์ฝ”๋”ยท๋””์ฝ”๋” ๊ตฌ์กฐ์™€ ํ•ต์‹ฌ ๋™์ž‘ ์›๋ฆฌ ์ดํ•ด

  • MHA, MQA, GQA, MLA ๋“ฑ ์ตœ์‹  ์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์˜ ๋ฐœ์ „ ํ๋ฆ„ ์ดํ•ด

  • ํ˜„์žฌ AI ์„œ๋น™์˜ ์‚ฌ์‹ค์ƒ ํ‘œ์ค€์ธ vLLM ์—”์ง„ ํ™œ์šฉ ๋ฐฉ๋ฒ• ์‹ค์Šต

  • vLLM ์„œ๋น™ ํ™˜๊ฒฝ์—์„œ TTFT, TPOT ๋“ฑ ์ฃผ์š” ์„ฑ๋Šฅ ์ง€ํ‘œ ๋ชจ๋‹ˆํ„ฐ๋ง

  • Tensor/Pipeline/Data Parallel์„ ํ™œ์šฉํ•œ ๋ฉ€ํ‹ฐ GPU ์•„ํ‚คํ…์ฒ˜ ์„ค๊ณ„ ๋ฐ ๊ตฌํ˜„

  • Agent AI์˜ ํ•ต์‹ฌ ๊ฐœ๋…๊ณผ Tool Calling ๋™์ž‘ ์›๋ฆฌ ์ดํ•ด

  • ์‹ค์ œ ํ˜„์—… ๊ด€์ ์˜ AI ์‹œ์Šคํ…œ ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ• ๋ฐ ์„ฑ๋Šฅ ๋ชจ๋‹ˆํ„ฐ๋ง ๊ฒฝํ—˜

  • ์ตœ์‹  ๋…ผ๋ฌธ ๊ธฐ๋ฐ˜์œผ๋กœ MLA, MTP, ์—”๊ทธ๋žจ ๋“ฑ ์ตœ์‹  LLM ํŠธ๋ Œ๋“œ ์ดํ•ด

AI Agent ์‹œ๋Œ€,
์ด์ œ๋Š” AI ์‹œ์Šคํ…œ์„ ์ดํ•ดํ•˜๋Š” ์‹ค๋ฌด ์—ญ๋Ÿ‰์ด ์ค‘์š”ํ•ด์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค

Transformer ๊ธฐ๋ฐ˜ LLM ๊ตฌ์กฐ๋ถ€ํ„ฐ
GPU ํ™œ์šฉยทvLLM ์„œ๋น™ยท๋ฉ€ํ‹ฐ GPU ์ „๋žต๊นŒ์ง€

LLM ์•„ํ‚คํ…์ฒ˜ ์‹ค๋ฌด ํด๋ž˜์Šค

์ž์œจํ˜• AI Agent ์‹œ๋Œ€์—๋Š”
OpenAI, Claude, Codex ๋“ฑ ๋‹ค์–‘ํ•œ Agent ๋„๊ตฌ์™€ Public API๋ฅผ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ•˜์ง€๋งŒ ์‹ค์ œ ์„œ๋น„์Šค ํ™˜๊ฒฝ์—์„œ๋Š”
๋ฐ์ดํ„ฐ ๋ณด์•ˆ, ๋„คํŠธ์›Œํฌ ๋น„์šฉ, ํ† ํฐ ๋น„์šฉ, GPU ์ž์› ๊ด€๋ฆฌ๊นŒ์ง€ ํ•จ๊ป˜ ๊ณ ๋ คํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ์ค‘์š”ํ•œ ๊ฒƒ์€
Public API์™€ ์ž์ฒด GPU ๊ธฐ๋ฐ˜ LLM์„ ์ƒํ™ฉ์— ๋งž๊ฒŒ ์กฐํ•ฉํ•˜๋Š”
Hybrid AI ์•„ํ‚คํ…์ฒ˜์— ๋Œ€ํ•œ ์ดํ•ด์ž…๋‹ˆ๋‹ค.


๊ทธ๋ ‡๋‹ค๋ฉด Public API๋งŒ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ํ•ญ์ƒ ์ตœ์„ ์ผ๊นŒ์š”?

๊ผญ ๊ทธ๋ ‡์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค.

์š”์ฆ˜์—” public API(chatGPT, Claude, Sonnet etc.) ์— ๋งž๋จน๋Š”
LLM ๊ตญ๋‚ด/์™ธ์—์„œ ๋‹ค์ˆ˜ ๊ฐœ๋ฐœ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.  



๊ตญ๋‚ด ์†Œ๋ฒ„๋ฆฐ AI 1์ฐจ ํ‰๊ฐ€ ๊ฒฐ๊ณผ ์„ ์ •๋œ 3๊ฐ€์ง€ ๋ชจ๋ธ


๊ทธ๋Ÿฌ๋‚˜ LLM์„ ์ž˜ ์•Œ๊ณ  ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์€ ์‰ฝ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
๋น„์‹ผ GPU๋ฅผ ๊ตฌ๋งคํ•ด๋†“๊ณ 
LLM์„ ์ดํ•ดํ•˜๊ณ  ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ๊ณผ ์ดํ•ดํ•˜์ง€ ์•Š๊ณ  ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์€
๋งŽ์€ ์ฐจ์ด๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ์ด์ œ๋Š” LLM์„ ์ง์ ‘ ์„œ๋น™ํ•˜๊ธฐ ์œ„ํ•œ ์•„ํ‚คํ…์ฒ˜๋ฅผ ๋ฐฐ์šธ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค.


๐ŸŒŸ From LLM Architecture to Serving


๋Œ€ ์—์ด์ „ํŠธ์˜ ์‹œ๋Œ€๋ฅผ ๋งž์ดํ•˜์—ฌ ์ด์ œ๋Š” ํ•™์Šต๋ณด๋‹ค ์ถ”๋ก ์˜ ์‹œ๋Œ€์ž…๋‹ˆ๋‹ค. Public API๋ฅผ ์ž˜ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ๋„ ํ•„์š”ํ•˜์ง€๋งŒ ๋งŽ์€ ๊ธฐ์—…์—์„œ๋Š” ๋ณด์•ˆ, ๊ฑฐ๋ฒ„๋„Œ์Šค, ๋น„์šฉ ๋“ฑ ์—ฌ๋Ÿฌ ์ด์œ ๋กœ ๋กœ์ปฌ ํ™˜๊ฒฝ์˜ ์„œ๋น™ ํ™˜๊ฒฝ ๊ตฌ์ถ•์„ ์„ ํ˜ธํ•ฉ๋‹ˆ๋‹ค.๋กœ์ปฌ ํ™˜๊ฒฝ LLM ์„œ๋น™ ํ™˜๊ฒฝ์„ ๊ตฌ์ถ•ํ•˜๊ธฐ ์œ„ํ•œ LLM ์•„ํ‚คํ…์ฒ˜์˜ ์ดํ•ด๋ถ€ํ„ฐ ์•„ํ‚คํ…์ฒ˜ ๊ตฌ์„ฑ, LLM ๊ฐœ๋ฐœ ํŠธ๋ Œ๋“œ๊นŒ์ง€ ๋ชจ๋“  ๊ฒƒ์„ ๋ฐฐ์›Œ๋ณด์„ธ์š”.


๊ฐ•์˜ Core ๊ตฌ์„ฑ

Core 1. ํ—ˆ๊น…ํŽ˜์ด์Šค ๋ชจ๋ธ ์ดํ•ดํ•˜๊ธฐ


ํ—ˆ๊น…ํŽ˜์ด์Šค์— ๊ณต๊ฐœ๋œ ์ˆ˜ ๋งŽ์€ LLM ์•Œ๊ณ  ์จ์•ผ ํ•ฉ๋‹ˆ๋‹ค.
๊ทธ๋Ÿฌ๋‚˜ LLM ๋ชจ๋ธ์˜ ์ŠคํŽ™์„ ์•Œ๋ ค์ฃผ๋Š” config.json ํŒŒ์ผ์€ ์ดˆ๋ณด์ž์—๊ฒŒ๋Š” ์•”ํ˜ธ๋ฌธ๊ณผ ๋‹ค๋ฆ„ ์—†์Šต๋‹ˆ๋‹ค. ์™œ๋ƒํ•˜๋ฉด ํŠธ๋žœ์Šคํฌ๋จธ(transformer) ๋ชจ๋ธ์„ ์ดํ•ดํ•˜๊ณ  ์žˆ์–ด์•ผ ๋ณผ ์ˆ˜ ์žˆ๊ฑฐ๋“ ์š”.

ํ•˜์ง€๋งŒ ๊ฑฑ์ • ๋งˆ์„ธ์š”. ์ด ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ๋‚˜๋ฉด ์ฃผ์š” ์ŠคํŽ™์€ ๋ณด๊ณ  ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ์ „๋ฌธ๊ฐ€๊ฐ€ ๋˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐ•์˜๋ฅผ ํ†ตํ•ด config.json ํŒŒ์ผ์„ ํ•ด๋…ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ํ„ฐ๋“ํ•˜์„ธ์š”.

(์ฑ•ํ„ฐ 3-5 ๋ถ€๋ถ„์˜ ๋‚ด์šฉ์ž…๋‹ˆ๋‹ค. ๋‚˜๋จธ์ง€ ์ฃผ์š” ํŒŒ๋ผ๋ฏธํ„ฐ์— ๋Œ€ํ•ด ๋ชจ๋‘ ์–ป์–ด๊ฐ€์„ธ์š”)


Core 2. ์–ดํ…์…˜ ๋งˆ์Šคํ„ฐํ•˜๊ธฐ

ํ˜„์žฌ LLM ๋ชจ๋ธ์˜ ๊ธฐ๋ฐ˜์ด ๋˜๋Š” ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ ์‹œ์ž‘๊ณผ ๋์€ ์–ดํ…์…˜์ž…๋‹ˆ๋‹ค.

attention-model ์€ 2017๋…„์— ๋“ฑ์žฅํ–ˆ์ง€๋งŒ
์•„์ง๋„ 10๋…„ ๊ฐ€๊นŒ์ด ์ตœ๊ฐ• ์•Œ๊ณ ๋ฆฌ์ฆ˜์œผ๋กœ ๊ตฐ๋ฆผํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
ํŠธ๋žœ์Šคํฌ๋จธ ๊ตฌ์กฐ๋ฅผ ๋ฒ—์–ด๋‚˜๊ธฐ ์œ„ํ•œ ๋งŽ์€ ๋…ธ๋ ฅ๋“ค์ด ์ด๋ค„์ง€๊ณ  ์žˆ์ง€๋งŒ
์•„์ง๊นŒ์ง€ ํŠธ๋žœ์Šคํฌ๋จธ์˜ ์–ดํ…์…˜์„ ์™„์ „ํžˆ ๋Œ€์ฒดํ•˜๋Š” ์•„ํ‚คํ…์ฒ˜๋Š” ๋‚˜์˜ค์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

โš ๏ธ ์–ดํ…์…˜์€ ๋Œ€์ถฉ ์•Œ์•„์„œ๋Š” ์ ˆ๋Œ€ ์•ˆ๋ฉ๋‹ˆ๋‹ค.


์–ดํ…์…˜์˜ ์›๋ฆฌ๋ฅผ ์™„๋ฒฝ ์ดํ•ดํ•˜๊ณ  ๋ฐœ์ „ ํ๋ฆ„๊นŒ์ง€ ๋ฐฐ์›Œ๊ฐ€์„ธ์š”.

(์ฑ•ํ„ฐ 5-4 ๋ถ€๋ถ„์˜ ๋‚ด์šฉ์ž…๋‹ˆ๋‹ค. ์–ดํ…์…˜์˜ ๋ฐœ์ „ ํ๋ฆ„์ด ๊ณง LLM์˜ ๋ฐœ์ „ ํ๋ฆ„์ž…๋‹ˆ๋‹ค)


Core 3. ๋ฉ€ํ‹ฐ GPU ์•„ํ‚คํ…์ฒ˜ ์ •๋ณตํ•˜๊ธฐ

๋Œ€๊ทœ๋ชจ LLM ๊ตฌ๋™๊ณผ ๋น ๋ฅธ ์ถ”๋ก ์„ ์œ„ํ•œ ๋ฉ€ํ‹ฐ GPU ๊ตฌ์„ฑ์€ ํ•„์ˆ˜์ž…๋‹ˆ๋‹ค.
ํ•˜์ง€๋งŒ ๋ฉ€ํ‹ฐ GPU ๊ตฌ์„ฑ์—๋„ ์—ฌ๋Ÿฌ ๋ฐฉ๋ฒ•์ด ์žˆ๋‹ค๋Š” ๊ฒƒ, ์•„์‹œ๋‚˜์š”?


ํ•ต์‹ฌ AI ์—”์ง€๋‹ˆ์–ด๊ฐ€ ๋˜๊ธฐ ์œ„ํ•œ ํ•„์ˆ˜ ๊ด€๋ฌธ, GPU ํ™œ์šฉ ์ „๋žต์— ๋Œ€ํ•ด ์ „์ˆ˜ํ•ด ๋“œ๋ฆฝ๋‹ˆ๋‹ค.




๐Ÿ˜„ ์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜ ์ถ”์ฒœํ•ด์š”

AI ์ดˆ๋ณด์ž

ํŠธ๋žœ์Šคํฌ๋จธ์™€ ์–ดํ…์…˜ ๊ตฌ์กฐ๋ฅผ ๊ณต๋ถ€ํ•ด๋ณด๊ณ  ์‹ถ์—ˆ์ง€๋งŒ,
๋ณต์žกํ•œ ์ˆ˜์‹๊ณผ ๊ฐœ๋… ๋•Œ๋ฌธ์— ์–ด๋ ค์›€์„ ๋А๊ผˆ๋˜ ๋ถ„

AI ์ž…๋ฌธ์ž

ChatGPT๋‚˜ ์ƒ์„ฑํ˜• AI ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ•ด๋ดค์ง€๋งŒ,
LLM์ด ์‹ค์ œ ์–ด๋–ป๊ฒŒ ๋™์ž‘ํ•˜๋Š”์ง€ ์›๋ฆฌ๋ฅผ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ๋ถ„

AI ์—”์ง€๋‹ˆ์–ด

LLM ์•„ํ‚คํ…์ฒ˜์™€ GPU ํ™˜๊ฒฝ์„ ์ดํ•ดํ•˜๊ณ ,
์‹ค์ œ AI ์‹œ์Šคํ…œ์„ ๊ตฌ์ถ•ยท์šด์˜ํ•  ์—ญ๋Ÿ‰์ด ํ•„์š”ํ•œ AI ์—”์ง€๋‹ˆ์–ด

๐Ÿ’ก ๊ฐ•์˜์—์„œ ๋ฐฐ์šฐ๋Š” ๋‚ด์šฉ

Step 1. Foundation

  • ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ ์ดํ•ด

  • ํ† ํฌ๋‚˜์ด์ € & ์ž„๋ฒ ๋”ฉ

  • Encoder vs Decoder

  • ๋ชจ๋ธ ์†Œ์Šค์ฝ”๋“œ ๋ณด๊ธฐ

Step 2. Attention

  • Docoder ๋ชจ๋ธ ์ •๋ณต

  • ์–ดํ…์…˜ ๋งˆ์Šคํ„ฐํ•˜๊ธฐ

  • Masked ์–ดํ…์…˜

  • KV Cache

Step 3. Serving

  • vLLM Serving

  • Paged Attention

  • OpenAI Compatible

  • SSE Protocol

Step 4. Tool Call

  • Tool Call ์ดํ•ด

  • Tool ์‘๋‹ต ์•„ํ‚คํ…์ฒ˜

  • Chat Template

  • Tool call parser

Step 5. Optimazation

  • ์„ฑ๋Šฅ ํ…Œ์ŠคํŠธ

  • vLLM ๋ชจ๋‹ˆํ„ฐ๋ง

  • ๋ฉ€ํ‹ฐ GPU & Parallelism

  • vLLM ์ถ”๊ฐ€ ๊ธฐ๋Šฅ๋“ค

Step 6. Advanced

  • Multi Token Prediction

  • mHC

  • Engram

  • ํ•œ๊ณ„ ๊ทน๋ณต์„ ์œ„ํ•œ ๋…ธ๋ ฅ๋“ค

๐Ÿ’ก ๊ฐ•์˜ ํ•ต์‹ฌ Point

Point 1

์ˆ˜์‹์—†์ด ๋ฐฐ์šฐ๋Š” ์–ดํ…์…˜์˜ ํ•ต์‹ฌ ์›๋ฆฌ


์ˆ˜์‹์—†์ด ์—‘์…€์„ ํ†ตํ•ด ์ง๊ด€์ ์œผ๋กœ ๋‹ค์–‘ํ•œ ์–ดํ…์…˜ ๊ธฐ๋ฒ•์„ ๋ฐฐ์›๋‹ˆ๋‹ค (MHA โ†’ MQA โ†’ GQA, Sliding Window ์–ดํ…์…˜)

Point 2

3 Tier ๊ตฌ์กฐ์˜ AI ์•„ํ‚คํ…์ฒ˜ ๊ตฌํ˜„


OpenWebUI์™€ FastAPI, vLLM์œผ๋กœ ์ด์–ด์ง€๋Š” 3Tier ์•„ํ‚คํ…์ฒ˜์˜ ๊ธฐ๋ณธ ๊ตฌ์กฐ๋ฅผ ์ดํ•ดํ•˜๊ณ  Tool ์—ฐ๋™์˜ ๊ธฐ๋ณธ ํ๋ฆ„์„ ๋ฐฐ์›๋‹ˆ๋‹ค

Point 3

vLLM ์šด์˜์„ ์œ„ํ•œ ๋™์‹œ ์‚ฌ์šฉ์ž ์ˆ˜ ์ธก์ •๊ณผ Tip

jMeter๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ FastAPI โ†’ vLLM ๋ถ€ํ•˜ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด ๋™์‹œ ์‚ฌ์šฉ์ž ์ˆ˜์— ๋”ฐ๋ฅธ TTFT, TPOT ๋“ฑ ์ง€ํ‘œ๋ฅผ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

Point 4

vLLM ์„œ๋น„์Šค์˜ ๋ชจ๋‹ˆํ„ฐ๋ง

ํ”„๋กœ๋ฉ”ํ…Œ์šฐ์Šค & ๊ทธ๋ผํŒŒ๋‚˜ ๋Œ€์‹œ๋ณด๋“œ ํŒŒ์ดํ”„๋ผ์ธ์„ ๊ตฌ์ถ•ํ•˜์—ฌ vLLM ์„œ๋น„์Šค ์šด์˜์— ๋Œ€ํ•œ ๊ธฐ๋ณธ ์›๋ฆฌ๋ฅผ ํ„ฐ๋“ํ•ฉ๋‹ˆ๋‹ค.

Point 5

๋‹จ์ผGPU / ๋ฉ€ํ‹ฐ GPU ํ…Œ์ŠคํŠธ 

3๊ฐ€์ง€ ๊ธฐ๋ณธ ๋ฉ€ํ‹ฐ GPU (Pipeline Paralle, Tensor Parallel, Data Parallel)์— ๋Œ€ํ•œ ์‹ค์Šต์„ ํ†ตํ•ด ๋ฉ€ํ‹ฐ GPU๊ฐ€ ์™œ ํ•„์š”ํ•œ์ง€ ์ง์ ‘ ๋ˆˆ์œผ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

Point 6

LLM ๊ฐœ๋ฐœ ํŠธ๋ Œ๋“œ ์ •๋ณตํ•˜๊ธฐ

๋”ฅ์‹œํฌ์˜ MTP, Shared MoE, MLA, Engram ๋“ฑ ์ตœ์‹  ๊ธฐ๋ฒ•๊ณผ ์ถ”๋ก  ํšจ์œจํ™”๋ฅผ ์œ„ํ•ด ์ง„ํ–‰๋˜๊ณ  ์žˆ๋Š” LLM ๊ฐœ๋ฐœ ํŠธ๋ Œ๋“œ๋ฅผ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค.

โœ… ๊ฐ•์˜์—์„œ ์‚ฌ์šฉํ•˜๋Š” ๋„๊ตฌ๋“ค




โœ… ์„œ๋ฒ„ ์‹ค์Šต ํ™˜๊ฒฝ ์•ˆ๋‚ด

vLLM ์‹œ์Šคํ…œ ๊ตฌ์ถ•์€ Runpod์„ ํ™œ์šฉํ•˜์—ฌ ์ง„ํ–‰๋ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ Google Colab์˜ T4 GPU๋ฅผ ํ™œ์šฉํ•œ ์‹ค์Šต๋„ ๋ณ‘ํ–‰๋ฉ๋‹ˆ๋‹ค. T4 GPU๋Š” 15GB์˜ GPU ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ์ œ๊ณตํ•ด์ฃผ๊ณ  ์žˆ์–ด์„œ Colab์—์„œ ๊ฐ€๋Šฅํ•œ ์‹ค์Šต์€ Colab์—์„œ ์ง„ํ–‰ํ•ฉ๋‹ˆ๋‹ค.

Runpod

OpenWebUI โ†’ FastAPI โ†’ Runpod ํ”Œ๋กœ์šฐ ๊ธฐ๋ฐ˜ ์‹ค์Šต ํ™˜๊ฒฝ์„ ๊ตฌ์„ฑํ•ฉ๋‹ˆ๋‹ค. Runpod ํด๋ผ์šฐ๋“œ์˜ GPU ์„œ๋ฒ„์— vLLM์„ ์˜ฌ๋ ค ์—ฌ๋Ÿฌ ์‹ค์Šต์„ ์ง„ํ–‰ํ•ฉ๋‹ˆ๋‹ค.

์‹ค์Šต์„ ์œ„ํ•ด ์•ฝ $10 ~ $20 ์ •๋„์˜ ์‹ค์Šต ๋น„์šฉ์ด ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.


Google Colab

์ธ๊ณต์ง€๋Šฅ(AI) ์‹ค์Šต ํ‘œ์ค€ ํ™˜๊ฒฝ๊ณผ๋„ ๊ฐ™์€ Google Colab์€ Runpod ํ™˜๊ฒฝ์ด ํ•„์š”์—†๋Š” ๋‹จ์ˆœ ์‹ค์Šต์„ ์œ„ํ•ด ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค. Pro๊ฐ€ ์•„๋‹Œ ์ผ๋ฐ˜ ๋ฌด๋ฃŒ ํ‹ฐ์–ด๋กœ ์ง„ํ–‰ํ•˜๋ฉฐ T4 GPU๋ฅผ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.

โœ… ๋กœ์ปฌ ์‹ค์Šต ํ™˜๊ฒฝ ์•ˆ๋‚ด

vLLM ์„œ๋น„์Šค๋Š” Runpod์— ๋„์šฐ์ง€๋งŒ
๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ•˜์‹œ๋Š” ๋กœ์ปฌ ์ปดํ“จํ„ฐ์—๋„ OpenwebUI ๋ฐ FastAPI๊ฐ€ ๊ตฌ๋™๋ฉ๋‹ˆ๋‹ค.
๋”ฐ๋ผ์„œ ์•„๋ž˜ ์ˆ˜๊ฐ• ํ™˜๊ฒฝ์ด ๋งŒ์กฑ๋˜๋Š”์ง€ ํ™•์ธ ํ•ด์ฃผ์„ธ์š”!



Runpod๊ณผ Colab์„ ์ฃผ ์‹ค์Šต ํ™˜๊ฒฝ์œผ๋กœ ์‚ฌ์šฉํ•˜์ง€๋งŒ
๋กœ์ปฌ ํ™˜๊ฒฝ ๋‚ด OpenWebUI, FastAPI๋ฅผ ๋„์›Œ์„œ ์‹ค์Šตํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

โš ๏ธ ๋ณธ ๊ฐ•์˜๋Š” vLLM์ด ์—…๋ฐ์ดํŠธ๋˜๋ฉด ๊ฐ•์˜๋„ ํ•จ๊ป˜ ์—…๋ฐ์ดํŠธ ๋ฉ๋‹ˆ๋‹ค.

vLLM์˜ ์—…๋ฐ์ดํŠธ ์†๋„๋Š” ๋งค์šฐ ๋น ๋ฆ…๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์•„์ง Major ๋ฒ„์ „์€ 0๋ฒ„์ „๋Œ€์— ๋จธ๋ฌผ๋Ÿฌ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ•˜์ง€๋งŒ ๋งŽ์€ ๊ธฐ์—…์—์„œ ์‚ฌ์‹ค์ƒ์˜ ํ‘œ์ค€์ฒ˜๋Ÿผ vLLM์„ ์ถ”๋ก  ์—”์ง„์œผ๋กœ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. 
ํ˜„์žฌ LLM์˜ ์ฃผ์ถ•์„ ์ด๋ฃจ๋Š” ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋Œ€์•ˆ์œผ๋กœ ๋“ฑ์žฅํ•œ Mamba ์•„ํ‚คํ…์ฒ˜๊นŒ์ง€ vLLM์—์„œ ์ง€์›ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ Multi Token Prediction ๊ณผ ๊ฐ™์ด ๋ชจ๋ธ์— ์ƒˆ๋กœ์šด ๊ธฐ๋Šฅ์ด ์ถ”๊ฐ€๋˜๋ฉด ์ด๋ฅผ ๋’ท๋ฐ›์นจํ•˜๊ธฐ ์œ„ํ•ด vLLM์€ ๋งค๋ฒˆ ์—…๋ฐ์ดํŠธ ๋ฉ๋‹ˆ๋‹ค. 
๋ณธ ๊ฐ•์˜ ๋˜ํ•œ ์ƒˆ๋กœ์šด vLLM์˜ ๊ธฐ๋Šฅ ๋˜๋Š” ์ƒˆ๋กœ์šด ๋ชจ๋ธ ํƒ€์ž…์ด ๋‚˜์˜ค๋ฉด ๊ฐ•์˜๊ฐ€ ์—…๋ฐ์ดํŠธ ๋  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค. 

LLM์˜ ํŠธ๋ Œ๋“œ๋ฅผ ๋†“์น˜์ง€ ๋งˆ์„ธ์š”. 


์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ChatGPT์™€ ์ƒ์„ฑํ˜• AI๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ์ง€๋งŒ, LLM์ด ์‹ค์ œ ์–ด๋–ป๊ฒŒ ๋™์ž‘ํ•˜๋Š”์ง€ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ์‹ค๋ฌด์ž

  • AI ์—”์ง€๋‹ˆ์–ด๋ฅผ ๋ชฉํ‘œ๋กœ LLM ์„œ๋น™๊ณผ ์‹œ์Šคํ…œ ๊ตฌ์กฐ๋ฅผ ์ฒด๊ณ„์ ์œผ๋กœ ๋ฐฐ์šฐ๊ณ  ์‹ถ์€ ์ž…๋ฌธ์ž

  • ๋ณต์žกํ•œ ์ˆ˜์‹ ์—†์ด ํŠธ๋žœ์Šคํฌ๋จธ์™€ ์–ดํ…์…˜ ๊ตฌ์กฐ๋ฅผ ์‹ค๋ฌด ๊ด€์ ์—์„œ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ๊ฐœ๋ฐœ์ž

  • GPU ์ตœ์ ํ™”์™€ ๋ฉ€ํ‹ฐ GPU ํ™˜๊ฒฝ์—์„œ ์‹ค์ œ AI ์‹œ์Šคํ…œ ๊ตฌ์ถ• ํ๋ฆ„์„ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ๋ฐฑ์—”๋“œยท์ธํ”„๋ผ ์—”์ง€๋‹ˆ์–ด

  • AI ์„œ๋น„์Šค ๊ธฐํš ๋ฐ ๊ฐœ๋ฐœ ๊ณผ์ •์—์„œ LLM ๊ตฌ์กฐ์™€ GPU ํ™œ์šฉ ์ „๋žต์„ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ PMยท๊ธฐํš์ž

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • ํŒŒ์ด์ฌ ๊ธฐ๋ณธ ๋ฌธ๋ฒ•์— ๋Œ€ํ•œ ์ดํ•ด (๋ณ€์ˆ˜, ํ•จ์ˆ˜, ์กฐ๊ฑด๋ฌธ ๋“ฑ)

  • git ์— ๋Œ€ํ•œ ๊ธฐ๋ณธ์ ์ธ ์‚ฌ์šฉ๋ฒ•

์•ˆ๋…•ํ•˜์„ธ์š”
๊น€ํ˜„์ง„์ž…๋‹ˆ๋‹ค.

์ธํ”„๋Ÿฐ์ธ์ฆ

1,709

๋ช…

์ˆ˜๊ฐ•์ƒ

123

๊ฐœ

์ˆ˜๊ฐ•ํ‰

249

๊ฐœ

๋‹ต๋ณ€

4.9

์ 

๊ฐ•์˜ ํ‰์ 

3

๊ฐœ

๊ฐ•์˜

์•ˆ๋…•ํ•˜์„ธ์š”.

๋Œ€๊ธฐ์—… ๋ฐ์ดํ„ฐ & AI ๋ถ„์•ผ์—์„œ ์ผํ•˜๊ณ  ์žˆ๋Š” 17๋…„์ฐจ ํ˜„์ง์ž์ž…๋‹ˆ๋‹ค.

์ •๋ณด๊ด€๋ฆฌ๊ธฐ์ˆ ์‚ฌ๋ฅผ ์ทจ๋“ํ•œ ์ดํ›„ ์ง€๊ธˆ๊นŒ์ง€ ์–ป์€ ์ง€์‹์„ ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์—๊ฒŒ ๊ณต์œ ํ•˜๊ณ ์ž ์ปจํ…์ธ  ์ œ์ž‘ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ˜๊ฐ‘์Šต๋‹ˆ๋‹ค. :)

 

Contact: hjkim_sun@naver.com

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

54๊ฐœ โˆ™ (14์‹œ๊ฐ„ 27๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

20๊ฐœ

5.0

20๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

  • ๊น€๋ฏผ์„œ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ๊น€๋ฏผ์„œ

    ์ˆ˜๊ฐ•ํ‰ 1

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    5

    31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ๋„์›€์ด ๋งŽ์ด ๋ผ์š”

    • ๊น€ํ˜„์ง„
      ์ง€์‹๊ณต์œ ์ž

      ๊น€๋ฏผ์„œ๋‹˜ ์ˆ˜๊ฐ•ํ‰ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค. ๊ฐ•์˜๊ฐ€ ๋งŽ์€ ๋„์›€ ๋˜์—ˆ๊ธธ ๋ฐ”๋ž๋‹ˆ๋‹ค ^-^

  • WonJune Lee๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    WonJune Lee

    ์ˆ˜๊ฐ•ํ‰ 3

    โˆ™

    ํ‰๊ท  ํ‰์  5.0

    ์ˆ˜์ •๋จ

    5

    43% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ์ €๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ด€๋ จ ์—…์ข…์€ ์•„๋‹ˆ๊ณ  ์ปดํ“จํ„ฐ ๋น„์ „(rule-based) ๋ถ„์•ผ์—์„œ ์ผํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํšŒ์‚ฌ์— LLM๊ณผ ๋น„์ „์ชฝ ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ์ˆ ์ด ํ•„์š”ํ•˜์—ฌ ๊ด€๋ จ ์ฃผ์ œ ๊ณต๋ถ€ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์•„์ง 40%์ •๋„๋ฐ–์— ์•ˆ๋“ค์—ˆ์ง€๋งŒ ์ˆ˜๊ฐ•ํ‰์„ ์ ์–ด์•ผ๊ฒ ๋‹ค ์‹ถ์–ด์„œ ์˜ฌ๋ฆฝ๋‹ˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹ ๊ด€๋ จ ๊ฐ•์˜๋“ค๋„ ๋งŽ์ด ๋“ค์–ด๋ณด๊ณ  ๋‚˜๋ฆ„ ์œ ๋ช…ํ•˜๊ณ  ํ‰ ์ข‹์€ ๋ถ„๋“ค ๊ฐ•์˜๋„ ๋“ค์–ด๋ดค์ง€๋งŒ ์ด ๊ฐ•์˜๋งŒํผ ๊น”๋”ํ•œ ๊ฐ•์˜๋Š” ์—†์—ˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€์žฅ ์ข‹์€๊ฑด ๊ฐ•์˜ ์ž๋ฃŒ ํ€„๋ฆฌํ‹ฐ๊ฐ€ ํ›Œ๋ฅญํ•ฉ๋‹ˆ๋‹ค. ์—‘์…€๋กœ ํ–‰๋ ฌ ๊ณ„์‚ฐ ํ•˜๋‚˜ํ•˜๋‚˜ ์ ์–ด๋‘์…จ๋Š”๋ฐ ๋ณต์Šตํ• ๋•Œ ์ •๋ง ๋งŽ์ด ๋„์›€๋ฉ๋‹ˆ๋‹ค. ํŒŒ์ด์ฌ ์ฝ”๋“œ๋„ ๋งŽ์€ ๊ณณ์— ์ฃผ์„์ด ๋‹ฌ๋ ค์žˆ๊ตฌ์š”. ๊ฐ•์˜ ํ€„๋ฆฌํ‹ฐ๋„ ์ข‹์•„์„œ ์ˆ˜๊ฐ•์ƒ๋“ค์ด ๊นŒ๋จน์—ˆ์„๊ฒƒ ๊ฐ™์€ ๋ถ€๋ถ„์€ ๋ฆฌ๋งˆ์ธ๋“œ ์‹œ์ผœ์ฃผ์…”์„œ ๋†“์น˜์ง€ ์•Š๊ฒŒ ํ•ด์ฃผ์–ด์„œ ์ข‹์•˜์Šต๋‹ˆ๋‹ค. ๊ณ„์‚ฐ๋„ ๋Œ€๋ถ€๋ถ„ ๋‹ค๋ฅธ ๊ฐ•์˜์—์„  ํ•œ๋‘๋ฒˆ ๋ณด์—ฌ์ฃผ๋ฉด ๋„˜๊ธฐ๋Š”๋ฐ ์ด ๊ฐ•์˜์—์„  ๋๊นŒ์ง€ ๊ฐ™์ด ๊ณ„์‚ฐํ•ด์ค˜์„œ ํ™•์‹คํ•ด์„œ ์ข‹์•˜์Šต๋‹ˆ๋‹ค. Q&A๋„ ์ˆ˜์‹œ๋กœ ๋ณด์‹œ๋Š”์ง€ ์งˆ๋ฌธ ์˜ฌ๋ฆฌ๋ฉด ๋ฐ”๋กœ ๋‹ต๋ณ€์ฃผ์…”์„œ ์ข‹์•˜๊ตฌ์š”. ๊ฐ•์˜๋ฅผ ์•„๋งˆ ์˜ฌํ•ด ์ฐ์œผ์‹ ๊ฑฐ ๊ฐ™์€๋ฐ ๊ทธ๋ž˜์„œ ๊ทธ๋Ÿฐ์ง€ ์ตœ์‹  ํŠธ๋ Œ๋“œ ๋‚ด์šฉ์ด ๋งŽ์•„์„œ ์ข‹์Šต๋‹ˆ๋‹ค. ์•„์ง ์ž…์†Œ๋ฌธ์ด ๋œ ํƒ„ ๊ฐ•์˜ ๊ฐ™์€๋ฐ ๊ด€๋ จ ์ฃผ์ œ๋กœ ๊ณต๋ถ€๊ฐ€ ํ•„์š”ํ•˜์‹  ๋ถ„๋“ค๊ป˜ ์ •๋ง ๊ฐ•์ถ”๋“œ๋ฆฝ๋‹ˆ๋‹ค.

    • ๊น€ํ˜„์ง„
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” Wonjune lee ๋‹˜ ์ •์„ฑ์Šค๋Ÿฐ ์ˆ˜๊ฐ•ํ‰ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค! ์ˆ˜๊ฐ•ํ•˜์‹œ๋Š” ๋ถ„๋“ค๊ป˜์„œ ์ถฉ๋ถ„ํžˆ ์˜๋ฏธ์žˆ๋Š” ์ž๋ฃŒ๋ฅผ ๋ฐ›๊ณ  ๋‚˜์ค‘์— ๋ณด๋”๋ผ๋„ ์ถฉ๋ถ„ํžˆ ๋ณต์Šต์ด ๋  ์ˆ˜ ์žˆ๋„๋ก ๊ฐ•์˜ ์ž๋ฃŒ ํ€„๋ฆฌํ‹ฐ๋ฅผ ๋†’์ด๊ธฐ ์œ„ํ•ด ๊ณ ๋ฏผ์„ ๋งŽ์ด ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์–ดํ…์…˜๊ณผ ๊ฐ™์€ ์—ฐ์‚ฐ์„ ์–ด๋–ป๊ฒŒ ์ „๋‹ฌํ•ด์•ผ ํšจ๊ณผ์ ์œผ๋กœ ์ „๋‹ฌํ• ์ง€ ๊ณ ๋ฏผ์„ ๋งŽ์ด ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ œ๊ฐ€ ๋‚ด๋ฆฐ ๊ฒฐ๋ก ์€ ์ˆ˜์‹์œผ๋กœ๋งŒ ๋ด์„œ๋„ ์•ˆ๋˜๊ณ  ๊ทธ๋ƒฅ ๊ฐ„๋‹จํ•œ ๋น„์œ ๋ฅผ ํ†ตํ•ด์„œ ์ „๋‹ฌํ•ด์„œ๋„ ์•ˆ๋˜๊ณ  torch ์ฝ”๋“œ๋กœ ์„ค๋ช…ํ•ด๋„ ์•ˆ๋œ๋‹ค๋ผ๋Š”๊ฒŒ ์ œ ๊ฒฐ๋ก ์ด์—ˆ์Šต๋‹ˆ๋‹ค. ๋ˆˆ์œผ๋กœ ํ๋ฆ„์„ ์ซ’์•„๊ฐ€๋ฉฐ ๋ด์•ผ ์ดํ•ด๊ฐ€ ๋œ๋‹ค๋Š” ์ƒ๊ฐ์— ์—‘์…€๋กœ ์ตœ๋Œ€ํ•œ ์„ค๋ช…ํ•ด๋“œ๋ ธ๋Š”๋ฐ ์ž˜ ์ „๋‹ฌ์ด ๋œ ๊ฒƒ ๊ฐ™์•„์„œ ๊ธฐ์ฉ๋‹ˆ๋‹ค :) ๋‚จ์€ ๋ถ€๋ถ„ ์ž˜ ์ˆ˜๊ฐ•ํ•˜์…”์„œ ์ข‹์€ ๋‚ด์šฉ ์–ป์–ด๊ฐ€์…จ์œผ๋ฉด ์ข‹๊ฒ ์Šต๋‹ˆ๋‹ค. ํ™”์ดํŒ…์ž…๋‹ˆ๋‹ค!

  • ๊น€๋ฏผํ˜•๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ๊น€๋ฏผํ˜•

    ์ˆ˜๊ฐ•ํ‰ 3

    โˆ™

    ํ‰๊ท  ํ‰์  4.7

    5

    31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ๊ต‰์žฅํžˆ ์ „๋ฌธ์„ฑ ์žˆ๊ณ , ์ƒ๊ฐ๋ณด๋‹ค ํ›จ์”ฌ ๋””ํ…Œ์ผํ•œ ๊ฐ•์˜์— ๋†€๋ž์Šต๋‹ˆ๋‹ค. ์ด์ •๋„ ํ€„๋ฆฌํ‹ฐ์˜ ๊ฐ•์˜ ์˜ค๋žœ๋งŒ์— ๋ณด๋Š”๋“ฏ ํ•˜๋„ค์š”.. ์ง๋ฌด๊ฐ€ AI ๊ด€๋ จ ์—”์ง€๋‹ˆ์–ด๋ง์„ ์ˆ˜ํ–‰ํ•˜๋Š” ์ง๋ฌด๋ผ, ๊ทธ๋ƒฅ ๋ณ„ ์ƒ๊ฐ์—†์ด LLM Architecture ๊ธฐ๋ณธ๋งŒ ๋Œ€์ถฉ ๊ณต๋ถ€ํ• ๊นŒ ํ•˜๊ณ  ๊ตฌ๋งคํ–ˆ๋Š”๋ฐ.. ๋„ˆ๋ฌด ๋งŒ์กฑ์Šค๋Ÿฝ๋„ค์š”.

    • jjanec๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
      jjanec

      ์ˆ˜๊ฐ•ํ‰ 4

      โˆ™

      ํ‰๊ท  ํ‰์  5.0

      5

      31% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

      ์–ด๋ ต์ง€๋งŒ ์ž˜ ๋”ฐ๋ผ๊ฐ€ ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋‚ด์šฉ์ด ๋”ฑ๋”ฑ ํ•„์š”ํ•œ ํ•ต์‹ฌ๋งŒ ์žˆ์–ด ์ข‹์Šต๋‹ˆ๋‹ค.

      • illheon๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
        illheon

        ์ˆ˜๊ฐ•ํ‰ 3

        โˆ™

        ํ‰๊ท  ํ‰์  3.7

        5

        19% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

        ๋‹ค๋ฃจ๋Š” ์†Œ์žฌ๋‚˜ ์ž…๋ฌธ์œผ๋กœ์ข‹์•„์š”

        ๊น€ํ˜„์ง„๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

        ์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

        ๋น„์Šทํ•œ ๊ฐ•์˜

        ๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

        ์‹ ๊ทœ๊ฐ€์ž… 25% ํ• ์ธ

        ์›” โ‚ฉ21,450

        5๊ฐœ์›” ํ• ๋ถ€ ์‹œ

        25%

        โ‚ฉ143,000

        โ‚ฉ107,250

        ํ‰์ƒ๊ต์œก์ด์šฉ๊ถŒ ์ง€์› ๊ฐ•์˜