AI 레드티밍 2 - LLM 동작 원리와 공격 표면

왜 이 강의인가

프롬프트 인젝션 사례를 스무 개 읽어도 답이 안 나오는 질문이 있습니다. 왜 입력 필터로 막히지 않는가, 왜 「보여 주지 마」라고 적어 둔 시스템 프롬프트가 밖으로 나오는가, 왜 검색 문서 한 장이 모델의 행동을 바꾸는가.

기법을 외우는 방식으로는 답이 나오지 않습니다. 모델이 입력을 어떻게 받아들이는지를 알아야 답이 나옵니다.

이 강의는 그 원리를 공격자가 알아야 할 만큼만 봅니다. 그림 한 장으로 설명하고, 기초 1에서 올린 여러분 백엔드의 app.py에 그대로 대입해 어느 줄이 어느 그림인지 확인한 뒤, 여러분이 실제로 쓰는 AI 서비스의 공격 표면 지도를 그립니다.

이 강의를 마치면 할 수 있는 것

• 모델이 글자가 아니라 토큰을 본다는 사실이 왜 입력 필터를 통제로 볼 수 없게 만드는지 설명합니다

• 시스템 프롬프트·이전 대화·검색 문서·사용자 입력이 컨텍스트 윈도 안에서 한 줄로 이어 붙는 구조를 그립니다

• RAG의 색인·검색·주입 세 단계 중 어디가 공격 표면인지, 에이전트가 툴을 부를 때 누구의 권한으로 움직이는지 짚습니다

• 실제 서비스가 쓰는 통제 5층이 무엇을 막고 무엇을 못 막는지 구분합니다

• 기초 1에서 올린 app.py의 converse 호출 한 줄에 이 구조가 어떻게 들어 있는지 대응표로 확인합니다

• 내가 쓰는 AI 서비스의 공격 표면을 네 계층 지도로 그립니다 (미션 1)

이런 분께 권합니다

• 기초 1을 마치고 실습 백엔드를 올려 둔 수강생

• 프롬프트 인젝션이 왜 근본적으로 막히지 않는지 원리부터 알고 싶은 개발자·보안 담당자

• LLM·RAG·에이전트를 도입하면서 어디에 위험이 생기는지 한 장으로 정리하고 싶은 기획자·PM

이런 분께는 맞지 않을 수 있습니다

• 토큰화 알고리즘이나 트랜스포머 수식을 배우려는 분 - 수학은 나오지 않습니다

• 코드를 작성하는 실습을 기대하는 분 - 2-6에서 app.py를 읽기만 하고 작성하지 않습니다

• 이 강의에서 직접 공격을 해 보려는 분 - 뚫는 실습은 4강(중급 1)부터이고, 여기서는 왜 뚫리는지를 봅니다

• 기초 1의 미션 0(실습 백엔드 배포)을 건너뛴 분 - 2-6 차시가 그 코드를 엽니다

강의 흐름 - 원리 → 내 코드에 대입 → 공격 표면 지도

전체 8차시 · 55분. 섹션 순서가 곧 학습 순서입니다.

• 섹션 1 · 강의 소개 (1편 · 2분 · 미리보기 1편)

• 섹션 2 · LLM은 입력을 어떻게 받아들이는가 (5편 · 38분 · 미리보기 1편)

• 섹션 3 · 내 백엔드 코드에 대입하고 공격 표면 지도 그리기 (2편 · 14분 · 미리보기 1편)

수강 전 확인 사항

• 기초 1의 미션 0을 마친 상태를 전제로 합니다.

• 이번 강의는 콘솔 조작이 없어 AWS 추가 비용이 거의 들지 않습니다. 2-6 차시에서 백엔드 코드를 읽기만 합니다.

• 브라우저 중심 강의이며 내 PC에 설치하는 것은 없습니다.

• 나레이션은 TTS 음성입니다.

강의 내용 자세히

▶ 시각자료 자리 · basic2-01-context.png - 컨텍스트 윈도 - 전부 한 줄로 이어 붙습니다

LLM은 입력을 어떻게 받아들이는가

모델은 글자를 보지 않고 토큰이라는 조각을 보며, 시스템 프롬프트와 이전 대화와 검색된 문서와 사용자 입력이 컨텍스트 윈도 안에서 전부 한 줄로 이어 붙습니다. 이 그림 하나가 이 강의에서 가장 중요한데, 경계 표시가 없다는 사실에서 뒤 강의의 공격 대부분이 성립하기 때문입니다.

그다음 시스템 프롬프트가 규칙이 아니라 부탁인 이유, RAG가 문서를 자르고 찾아서 주입하는 세 단계 중 어디가 공격 표면인지, 에이전트가 툴을 부를 때 누구의 권한으로 움직이는지를 차례로 보고, 실제 서비스가 쓰는 통제 5층이 무엇을 막고 무엇을 못 막는지까지 짚습니다.

▶ 시각자료 자리 · basic2-02-guardrail.png - 실제 서비스가 쓰는 통제 5층

▶ 시각자료 자리 · basic2-04-backend.png - 구성도 네 칸과 app.py 세 경로

내 백엔드 코드에 대입하고 공격 표면 지도 그리기

그림으로만 끝내지 않습니다. 2-6 차시에서 기초 1에 올린 여러분 백엔드의 app.py를 열어, converse 호출 한 줄 안에 system·messages·tools가 어떻게 들어 있는지 대응표로 확인합니다. 강의의 그림이 내 계정의 코드 어디에 있는지, 그리고 어느 통제 층이 비어 있는지가 이때 보입니다. 마지막 차시에서 그동안 본 것을 네 계층 지도로 정리하고, 미션 1로 여러분이 실제로 쓰는 AI 서비스의 공격 표면을 그려 봅니다. 이 지도가 기초 3에서 그릴 신뢰 경계의 밑그림이 됩니다.

▶ 시각자료 자리 · basic2-03-map.png - 네 계층 지도 (미션 1)

수학은 나오지 않고 코드를 작성하지도 않습니다. 콘솔 조작이 없어서 이번 강의는 AWS 비용이 거의 들지 않고, 기초 1의 미션 0을 마친 상태를 전제로 하되 스택을 지우셨다면 5분이면 다시 올릴 수 있습니다.

구성과 학습 방법

구성은 8차시 55분으로 7강 중 가장 짧습니다. 차시 하나가 6분에서 8분이고 전부 그림 한 장을 놓고 설명하는 방식이라, 개념 차시 여섯 편은 이동 중에 듣고 2-6 코드 대입과 2-7 미션 1만 화면 앞에서 보시면 됩니다. 각 차시 끝의 정리 슬라이드에 그 차시의 그림과 한 문장이 다시 나오니, 나중에 중급에서 막힐 때 그 슬라이드만 돌려 보는 것으로 충분합니다.

미션 1은 서식 없이 여러분이 실제로 쓰는 AI 서비스 하나를 골라 네 계층 지도를 그리는 것이고, 어떤 서비스를 고를지 막막하면 질문 게시판에 서비스 이름만 적어 주셔도 방향을 잡아 드립니다.

다음 강의

다음 강의인 기초 3에서는 무작정 공격하기 전에 실무 레드팀이 하는 일, 즉 범위를 정하고 자산을 세고 위협 모델을 그리는 순서를 배우고, 여기서 그린 공격 표면 지도를 위협 모델서로 키웁니다.

강의 특징

• "90퍼센트 지켜지는 것과 반드시 지켜지는 것은 다르다"는 한 문장을 원리로 설명합니다

• 그림 → 내 계정의 코드 → 공격 표면 지도 순으로, 추상에서 실물로 내려갑니다

• 벡터DB처럼 자산 대장에 빠지기 쉬운 것을 어디서 챙겨야 하는지 실무 관점으로 짚습니다

• 7강 중 가장 짧아 하루에 끝낼 수 있습니다

• 다루는 분야 - 인공지능(AI) 보안, LLM 동작 원리, 프롬프트엔지니어링 관점의 공격 표면, RAG와 AI Agent(에이전트) 구조, 오펜시브 시큐리티

수강을 마치면

수강을 마치면 「90퍼센트 지켜지는 것과 반드시 지켜지는 것은 다르다」는 한 문장을 원리로 설명할 수 있고, 여러분이 쓰는 AI 서비스 하나의 공격 표면 지도가 손에 남습니다. 이 지도가 기초 3에서 위협 모델서로 자랍니다.

시리즈 「직접 뚫어보는 AI 레드티밍」 7강

• AI 레드티밍 1 - LLM 보안 입문과 실습 환경

• AI 레드티밍 2 - LLM 동작 원리와 공격 표면 ← 이 강의

• AI 레드티밍 3 - 레드팀 업무와 위협 모델링

• AI 레드티밍 4 - 프롬프트 인젝션 직접 뚫기

• AI 레드티밍 5 - 빠진 설정 하나가 여는 공격

• AI 레드티밍 6 - 에이전트와 RAG를 뚫는다

• AI 레드티밍 7 - 통제 설계와 레드팀 보고서

앞 강의의 미션 산출물이 뒤 강의의 재료가 되는 구조라 번호 순서대로 공개되며, 미출시 강의는 순차 공개됩니다.