AI Red Teaming ์ „๋ฌธ๊ฐ€ ๊ต์œก : Agentic AI & LLM ๋ณด์•ˆ ์œ„ํ˜‘

AI ์‹œ์Šคํ…œ์ด ์—์ด์ „ํŠธํ™”(Agentic AI)๋˜๊ณ , ํ…์ŠคํŠธ๋ฅผ ๋„˜์–ด ์ด๋ฏธ์ง€ยท์˜ค๋””์˜คยท๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ๋กœ ํ™•์žฅ๋˜๋ฉด์„œ ๋ณด์•ˆ ์œ„ํ˜‘ ๋˜ํ•œ ํ›จ์”ฌ ๋ณต์žกํ•ด์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ฐ•์˜๋Š” AI Red Teaming ๊ด€์ ์—์„œ AI Agent์™€ Multimodal LLM์ด ์ง๋ฉดํ•œ ์ตœ์‹  ๋ณด์•ˆ ์œ„ํ˜‘๊ณผ ๊ณต๊ฒฉ ๊ธฐ๋ฒ•, ๊ทธ๋ฆฌ๊ณ  ์‹ค์ œ ์‚ฌ๋ก€๋ฅผ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.

(2.5) ์ˆ˜๊ฐ•ํ‰ 4๊ฐœ

์ˆ˜๊ฐ•์ƒ 15๋ช…

๋‚œ์ด๋„ ์ค‘๊ธ‰์ด์ƒ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

์ƒ์„ฑํ˜•ai
์ƒ์„ฑํ˜•ai
๋ณด์•ˆ
๋ณด์•ˆ
์ •๋ณด๋ณด์•ˆ
์ •๋ณด๋ณด์•ˆ
์ƒ์„ฑํ˜•ai
์ƒ์„ฑํ˜•ai
๋ณด์•ˆ
๋ณด์•ˆ
์ •๋ณด๋ณด์•ˆ
์ •๋ณด๋ณด์•ˆ
๊ตฌ๊ธ€
์‚ผ์„ฑ
๋„ค์ด๋ฒ„
์•ˆ๋žฉ
์œ ๋น„ํํ…Œํฌ๋†€๋กœ์ง€

์œ ๋น„ํํ…Œํฌ๋†€๋กœ์ง€

์ž„์ง์›๋“ค๋„ ์ด ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ์žˆ์–ด์š”!

๊ตฌ๊ธ€
์‚ผ์„ฑ
๋„ค์ด๋ฒ„
์•ˆ๋žฉ
์œ ๋น„ํํ…Œํฌ๋†€๋กœ์ง€

์œ ๋น„ํํ…Œํฌ๋†€๋กœ์ง€

์ž„์ง์›๋“ค๋„ ์ด ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ์žˆ์–ด์š”!

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • AI Red Teaming ์‚ฌ๊ณ ๋ฐฉ์‹ ์ดํ•ด

  • Agentic AI ์œ„ํ˜‘ ๋ชจ๋ธ ํŒŒ์•…

  • Multimodal LLM ๋ณด์•ˆ ์ด์Šˆ ์ดํ•ด

  • AI ๋ณด์•ˆ ์ „๋žต ์ˆ˜๋ฆฝ์— ํ•„์š”ํ•œ ๊ด€์  ํ™•๋ณด

AI Red Teaming ์ „๋ฌธ๊ฐ€ ๊ต์œก์€?

ChatGPT, Google Gemini, DeepSeek ๋“ฑ AI ๊ธฐ์ˆ ์€ ๋น ๋ฅด๊ฒŒ ๋ฐœ์ „ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ AI ๊ธฐ์ˆ ์ด ๋ฐœ์ „ํ•˜๋Š” ์†๋„์— ๋น„ํ•ด AI ๋ณด์•ˆ์— ๋Œ€ํ•œ ๋Œ€์‘์€ ํ˜„์ €ํžˆ ๋А๋ฆด ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์•„์ง๊นŒ์ง€๋„ ๋งŽ์€ ์ด๋“ค์˜ ๊ด€์‹ฌ์„ ๋ฐ›์ง€ ๋ชปํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. NSHC์—์„œ๋Š” 2020๋…„ AI ๋ณด์•ˆ ์—ฐ๊ตฌ์†Œ๋ฅผ ์„ค๋ฆฝ, ์ง€๊ธˆ๊นŒ์ง€ ์ด๋ฅผ ์—ฐ๊ตฌํ•ด์˜ค๋ฉฐ AI ๋ณด์•ˆ์— ๋Œ€ํ•œ ๊ธฐ์ดˆ๋ถ€ํ„ฐ ์‹ฌํ™”๊นŒ์ง€ ๋ณด์•ˆ ๊ต์œก ์ปค๋ฆฌํ˜๋Ÿผ์„ ์„ค๊ณ„ํ•˜์˜€์Šต๋‹ˆ๋‹ค. AI ๊ฐ€ ๊ทธ ์–ด๋А ๋•Œ๋ณด๋‹ค ๋ณดํŽธํ™” ๋œ ์ง€๊ธˆ, ๋ฐ”๋กœ AI Red Teaming ์ „๋ฌธ๊ฐ€ ๊ต์œก์„ ํ†ตํ•ด ๊ธฐ๊ด€ ๋‚ด ์†Œ์ค‘ํ•œ ์ž์‚ฐ์„ ์ง€์ผœ๋ณด์„ธ์š”!



์ œ1ํšŒ AI ๋ณด์•ˆ ์ „๋ฌธ๊ฐ€ ๊ต์œก์—๋Š” ํŠน๋ณ„ํžˆ AIM Intelligence์™€ ํ•จ๊ป˜ ํ•ฉ๋‹ˆ๋‹ค.
AIM Intelligence๋Š” Meta LLAMA ๊ฒฝ์ง„๋Œ€ํšŒ ์•„์‹œ์•„ํƒœํ‰์–‘์ƒ, ๊ณผํ•™๊ธฐ์ˆ ์ •๋ณดํ†ต์‹ ๋ถ€ ์ƒ์„ฑํ˜• AI ๋ ˆ๋“œํŒ€ ์ฑŒ๋ฆฐ์ง€ ์ˆ˜์ƒ ๋“ฑ์˜ ๊ฒฝ๋ ฅ์„ ๊ฐ€์ง€๊ณ  ์žˆ์œผ๋ฉฐ, ๊ตญ์ œํ•™ํšŒ IMCL 2025 ๋ฐ ACL 2025์—์„œ AI ๋ณด์•ˆ ๊ด€๋ จ ์—ฐ๊ตฌ๊ฐ€ ์ฑ„ํƒ๋œ ๊ฐ•์†Œ๊ธฐ์—…์ž…๋‹ˆ๋‹ค. 

์ด๋Ÿฐ ๋‚ด์šฉ์„ ๋ฐฐ์›Œ์š”

LLM & AI Agent Red Teaming ํ•ต์‹ฌ

  • Transformer ์•„ํ‚คํ…์ฒ˜์™€ LLM ๊ตฌ์กฐ๋ฅผ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค.

  • LLM ํŠน์„ฑ ๊ธฐ๋ฐ˜ ๊ณต๊ฒฉ ๋ฐฉ๋ฒ•๋ก ์„ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค.

  • Jailbreaking, Next Token ๊ณต๊ฒฉ, Safety Training์˜ ํ•œ๊ณ„๋ฅผ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.

  • OWASP LLM Top 10๊ณผ Red Teaming ํ‰๊ฐ€ ์ง€ํ‘œ๋ฅผ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค.

Agentic AI & Multimodal LLM ์œ„ํ˜‘ ๋ถ„์„

  • AI Agent Architecture์™€ IAM ๊ตฌ์กฐ๋ฅผ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค.

  • ๋ฉ€ํ‹ฐ์—์ด์ „ํŠธ ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ์ทจ์•ฝ์ ์„ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.

  • VisionยทAudio ๊ธฐ๋ฐ˜ Adversarial Attack ๊ฐœ๋…์„ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค.

  • ์‹ค์ œ AI Red Teaming ์‚ฌ๋ก€๋ฅผ ํ†ตํ•ด ๊ณต๊ฒฉ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค.

์ˆ˜๊ฐ• ์ „ ์ฐธ๊ณ  ์‚ฌํ•ญ

์œ ์˜์‚ฌํ•ญ

  • ๊ฐ•์˜ ์ž๋ฃŒ ๋ฐ ๋ชจ๋“  ์˜์ƒยท๋ฌธ์„œ๋Š” ๋ฌด๋‹จ ๋ฐฐํฌ ๋ฐ ๊ณต์œ ๋ฅผ ๊ธˆ์ง€ํ•ฉ๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • AI ๋ณด์•ˆ ์ „๋žต์„ ์„ค๊ณ„ํ•˜๋Š” ๋ถ„

  • AI Red Teaming์— ๊ด€์‹ฌ ์žˆ๋Š” ๋ณด์•ˆ ์‹ค๋ฌด์ž

  • LLM ๋ณด์•ˆ ์ดํ›„ ๋‹จ๊ณ„์˜ ์‹ฌํ™” ๋‚ด์šฉ์„ ์›ํ•˜๋Š” ๋ถ„

  • Agentic AI, Multimodal AI ๋ณด์•ˆ์ด ๊ถ๊ธˆํ•œ ๋ถ„

  • AI Safety ๊ด€์ ์—์„œ ๊ณต๊ฒฉ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ๋ถ„

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • LLM ๊ธฐ๋ณธ ๊ฐœ๋… ์ดํ•ด

  • AI ๋ณด์•ˆ ๋˜๋Š” ์ •๋ณด๋ณด์•ˆ ๊ธฐ์ดˆ

  • ์ƒ์„ฑํ˜• AI ์‚ฌ์šฉ ๊ฒฝํ—˜

์•ˆ๋…•ํ•˜์„ธ์š”
SecurityGround์ž…๋‹ˆ๋‹ค.

240

๋ช…

์ˆ˜๊ฐ•์ƒ

20

๊ฐœ

์ˆ˜๊ฐ•ํ‰

3

๊ฐœ

๋‹ต๋ณ€

4.3

์ 

๊ฐ•์˜ ํ‰์ 

12

๊ฐœ

๊ฐ•์˜

SecurityGround๋Š” NSHC์˜ ๋ณด์•ˆ๊ต์œก ๋ธŒ๋žœ๋“œ์ž…๋‹ˆ๋‹ค.

๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

4๊ฐœ

2.5

4๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

  • ์„ฑ๊ทœ๋‹ˆ์กธ์—…์•ˆํ• ๊บผ๋‹ˆ๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ์„ฑ๊ทœ๋‹ˆ์กธ์—…์•ˆํ• ๊บผ๋‹ˆ

    ์ˆ˜๊ฐ•ํ‰ 1

    โˆ™

    ํ‰๊ท  ํ‰์  2.0

    2

    80% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ๊ฐ•์˜ ์ฃผ์ œ๋ž‘, ๋‚ด์šฉ์€ ์ข‹์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๊ฐ•์˜ ์ž๋ฃŒ ์ œ๊ณต ๋ถ€๋ถ„์ด๋‚˜ ๊ฐ€๊ฒฉ์ ์ธ ์ธก๋ฉด์—์„œ ์ถ”์ฒœํ•˜๊ธฐ ์–ด๋ ค์šด ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

    • SecurityGround
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ์„ฑ๊ทœ๋‹ˆ์กธ์—…์•ˆํ• ๊บผ๋‹ˆ๋‹˜, ์†Œ์ค‘ํ•œ ํ›„๊ธฐ ๋‚จ๊ฒจ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋ง์”€ํ•ด์ฃผ์‹  ๋‚ด์šฉ์„ ๋ฐ”ํƒ•์œผ๋กœ ์ฝ˜ํ…์ธ ๋ฅผ ์ „๋ฐ˜์ ์œผ๋กœ ๊ฒ€ํ† ํ•˜์—ฌ, ๋”์šฑ ๋งŒ์กฑํ•˜์‹ค ์ˆ˜ ์žˆ๋Š” ๋ฐฉํ–ฅ์œผ๋กœ ์ง€์†์ ์œผ๋กœ ๊ฐœ์„ ํ•˜๊ณ  ์—…๋ฐ์ดํŠธํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

  • ์žฅ๋ฒ”์ˆ˜๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ์žฅ๋ฒ”์ˆ˜

    ์ˆ˜๊ฐ•ํ‰ 10

    โˆ™

    ํ‰๊ท  ํ‰์  4.0

    4

    60% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    • SecurityGround
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ์žฅ๋ฒ”์ˆ˜๋‹˜, ์†Œ์ค‘ํ•œ ํ›„๊ธฐ ๋‚จ๊ฒจ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ํ˜น์‹œ ๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ•˜์‹œ๋ฉด์„œ ์•„์‰ฌ์› ๋˜ ์ ์ด๋‚˜ ๋ณด์™„์ด ํ•„์š”ํ•˜๋‹ค๊ณ  ๋А๋ผ์‹  ๋ถ€๋ถ„์ด ์žˆ์œผ์…จ๋‹ค๋ฉด ํŽธํ•˜๊ฒŒ ์˜๊ฒฌ ๋‚จ๊ฒจ์ฃผ์„ธ์š”. ๋ณด๋‚ด์ฃผ์‹  ํ”ผ๋“œ๋ฐฑ์„ ๋ฐ”ํƒ•์œผ๋กœ ์ง€์†์ ์œผ๋กœ ๊ฐœ์„ ํ•˜๊ณ  ์—…๋ฐ์ดํŠธํ•˜์—ฌ ๋” ๋งŒ์กฑ์Šค๋Ÿฌ์šด ๊ฐ•์˜๋ฅผ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋„๋ก ๋…ธ๋ ฅํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

  • bertter๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    bertter

    ์ˆ˜๊ฐ•ํ‰ 13

    โˆ™

    ํ‰๊ท  ํ‰์  4.3

    1

    60% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ์ž๋ฃŒ๊ฐ€ ๋ถ€์กฑํ•ด์š”!

    • SecurityGround
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” bertter๋‹˜, ์†Œ์ค‘ํ•œ ํ›„๊ธฐ ๋‚จ๊ฒจ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋‚จ๊ฒจ์ฃผ์‹  ํ”ผ๋“œ๋ฐฑ์„ ๋ฐ”ํƒ•์œผ๋กœ ์ฝ˜ํ…์ธ  ๊ตฌ์„ฑ์„ ์ง€์†์ ์œผ๋กœ ๋ณด์™„ํ•˜๊ณ  ์—…๋ฐ์ดํŠธํ•˜์—ฌ, ๋” ๋งŒ์กฑํ•˜์‹ค ์ˆ˜ ์žˆ๋Š” ๊ฐ•์˜๋ฅผ ๋งŒ๋“ค๊ธฐ ์œ„ํ•ด ๋…ธ๋ ฅํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

  • ๊ตฌ๋ง๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€
    ๊ตฌ๋ง

    ์ˆ˜๊ฐ•ํ‰ 6

    โˆ™

    ํ‰๊ท  ํ‰์  4.7

    3

    60% ์ˆ˜๊ฐ• ํ›„ ์ž‘์„ฑ

    ๊ฐ•์˜๋Š” ๋„ˆ๋ฌด ์ข‹์€๋ฐ... ๊ฐ€๊ฒฉ์ด ๋„ˆ๋ฌด ๋น„์‹ธ๊ณ , 2์‹œ๊ฐ„ ๋ฐ–์— ์—†๋‹ค๋Š”๊ฒŒ ๋ฌด์ฒ™ ์•„์‰ฝ๋‹ค

    • SecurityGround
      ์ง€์‹๊ณต์œ ์ž

      ์•ˆ๋…•ํ•˜์„ธ์š” ๊ตฌ๋ง๋‹˜, ์†Œ์ค‘ํ•œ ์˜๊ฒฌ ๋‚จ๊ฒจ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋ง์”€ํ•ด์ฃผ์‹  ๋‚ด์šฉ์„ ํ† ๋Œ€๋กœ ์ฝ˜ํ…์ธ  ๊ตฌ์„ฑ๊ณผ ๋ถ„๋Ÿ‰์„ ๋”์šฑ ๋ณด์™„ํ•˜์—ฌ, ๋งŒ์กฑ์Šค๋Ÿฌ์šด ํ•™์Šต ๊ฒฝํ—˜์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋„๋ก ๊ฐœ์„ ํ•˜๊ณ  ์—…๋ฐ์ดํŠธํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

SecurityGround๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

๋น„์Šทํ•œ ๊ฐ•์˜

๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!