inflearn logo

Red Team AI 2 - Nguyên lý hoạt động và bề mặt tấn công của LLM

Đọc cách các dịch vụ AI vận hành dưới góc độ bảo mật, từ token và ngữ cảnh đến RAG, tác nhân và lớp bảo vệ. Đối chiếu các khái niệm với mã backend được cung cấp, đồng thời tổng hợp các điểm cần kiểm tra trong quá trình nhập liệu, tìm kiếm và gọi công cụ thành một bản đồ bề mặt tấn công duy nhất.

14 học viên đang tham gia khóa học này

Độ khó Nhập môn

Thời gian Không giới hạn

AI
AI
prompt engineering
prompt engineering
LLM
LLM
Offensive Security
Offensive Security
RAG
RAG
AI
AI
prompt engineering
prompt engineering
LLM
LLM
Offensive Security
Offensive Security
RAG
RAG

Bạn sẽ nhận được điều này sau khi học.

  • Giải thích cách token, ngữ cảnh và system prompt cấu thành đầu vào của mô hình.

  • Phân biệt quy trình lập chỉ mục, tìm kiếm, lắp ráp đầu vào của RAG với luồng gọi công cụ của tác nhân.

  • Tóm tắt vai trò và những hạn chế do guardrail và các cơ chế kiểm soát ứng dụng đảm nhiệm.

  • Đối chiếu mã backend được cung cấp với cấu trúc dịch vụ để lập bản đồ bề mặt tấn công cho Nhiệm vụ 1.

Tài liệu khóa học và hướng dẫn thực hành

Giới thiệu khóa học (0-1) Hãy tải ZIP tài liệu tổng hợp dành cho học viên từ nút tải tài liệu của bài học. Tệp bao gồm hướng dẫn học tập mới nhất, bộ thực hành hiệu chỉnh, các mẫu nhiệm vụ hiện có, cùng các ví dụ và phần giải thích về việc đánh giá bằng chứng. Bạn cũng có thể sử dụng các ghi chú bổ sung và ví dụ của bài học đánh giá liên quan.

Các tiết học trước sử dụng lời thuyết minh tổng hợp bằng AI được tạo dựa trên giọng nói của giảng viên. Phần thực hành sử dụng các mô hình Amazon Bedrock thực tế, còn công cụ và tài liệu là môi trường mô phỏng phục vụ đào tạo. Không thực hiện gửi email thực tế hay xóa tệp.

Chi phí sử dụng AWS được tính riêng với học phí và thay đổi tùy theo mô hình, khu vực, số lần gọi, thời gian lưu trữ nhật ký, tài nguyên duy trì và các điều kiện sử dụng miễn phí. Chi phí của khóa học chỉ là ví dụ ước tính trong những điều kiện cụ thể; cảnh báo ngân sách không tự động ngăn chặn chi phí phát sinh. Sau khi thực hành, hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên.

Tại sao nên chọn khóa học này?

Dù đã đọc hai mươi trường hợp prompt injection, vẫn có những câu hỏi không thể tìm ra lời giải. Tại sao chỉ dựa vào bộ lọc đầu vào có thể là chưa đủ, tại sao system prompt có ghi rõ 「Đừng hiển thị」lại bị lộ ra ngoài, tại sao chỉ một tài liệu tìm kiếm cũng có thể thay đổi hành vi của mô hình.

Không thể tìm ra câu trả lời chỉ bằng cách ghi nhớ các kỹ thuật. Muốn có câu trả lời, cần hiểu mô hình tiếp nhận đầu vào như thế nào.

Khóa học này chỉ xem xét nguyên lý đó ở mức mà kẻ tấn công cần biết. Chúng tôi sẽ giải thích bằng một hình minh họa, áp dụng trực tiếp vào app.py trong backend mà các bạn đã xây dựng ở phần Cơ bản 1, xác định dòng nào tương ứng với hình nào, rồi vẽ bản đồ bề mặt tấn công của dịch vụ AI mà các bạn thực sự đang sử dụng.

Những điều bạn có thể làm sau khi hoàn thành bài giảng này

  • Hiểu cách xử lý token và cấu thành đầu vào, đồng thời giải thích vai trò và những hạn chế của bộ lọc đầu vào.

  • Mô tả cách chỉ thị hệ thống, tin nhắn hội thoại theo từng vai trò và tài liệu tham khảo cấu thành đầu vào của mô hình, cũng như sự khác biệt về độ tin cậy giữa các nguồn.

  • RAG chỉ ra trong ba giai đoạn lập chỉ mục, tìm kiếm và chèn nội dung đâu là bề mặt tấn công, cũng như khi tác nhân gọi công cụ thì nó hoạt động với quyền của ai.

  • Phân biệt 5 lớp kiểm soát mà dịch vụ thực tế sử dụng ngăn chặn được gì và không thể ngăn chặn được gì.

  • Trong Cơ bản 1, hãy kiểm tra bằng bảng đối chiếu xem cấu trúc này được tích hợp như thế nào trong một dòng gọi converse của app.py.

  • Vẽ bản đồ bốn lớp về bề mặt tấn công của dịch vụ AI tôi đang sử dụng (Nhiệm vụ 1)

Khuyến nghị dành cho những người như sau

  • Học viên đã hoàn thành Cơ bản 1 và triển khai sẵn backend thực hành

  • Các nhà phát triển và nhân sự phụ trách bảo mật muốn hiểu từ nguyên lý các điều kiện để prompt injection hình thành và những giới hạn của việc kiểm soát nó

  • Những người làm kế hoạch・PM muốn tóm tắt trên một trang những rủi ro phát sinh ở đâu khi triển khai LLM・RAG・agent

Có thể không phù hợp với những người sau đây

  • Những người muốn học các thuật toán token hóa hoặc công thức Transformer – trong khóa học không có nội dung toán học.

  • Là người mong đợi các bài thực hành viết mã — trong bài 2-6, bạn chỉ đọc app.py chứ không viết.

  • Những người muốn trực tiếp thực hiện tấn công trong khóa học này - phần thực hành xâm nhập bắt đầu từ Bài 4 (Trung cấp 1), còn ở đây chúng ta sẽ tìm hiểu tại sao hệ thống bị xâm nhập.

  • Những bạn đã bỏ qua Nhiệm vụ 0 của Cơ bản 1 (triển khai backend thực hành) – các bài 2-6 sẽ mở mã nguồn đó.

Mạch bài giảng - Nguyên lý → Áp dụng vào mã của tôi → Bản đồ bề mặt tấn công

Tổng cộng 8 buổi. Thứ tự các phần chính là thứ tự học.

  • Mục 1 · Giới thiệu khóa học (1 bài · 1 bài xem trước)

  • Phần 2 · LLM tiếp nhận đầu vào như thế nào (5 bài · 1 bài xem trước)

  • Phần 3 · Áp dụng vào mã backend của tôi và lập bản đồ bề mặt tấn công (2 bài · 1 bài xem trước)

Những điều cần kiểm tra trước khi tham gia khóa học

  • Giả định bạn đã hoàn thành Nhiệm vụ 0 của Cơ bản 1.

  • Bài giảng này tập trung vào việc đọc mã và lập bản đồ. Việc gọi mô hình mới không bắt buộc, nhưng hãy kiểm tra riêng chi phí sử dụng và duy trì các tài nguyên AWS hiện có.

  • Đây là khóa học tập trung vào trình duyệt và không cần cài đặt gì trên PC của tôi.

  • Phần thuyết minh là giọng nói tổng hợp bằng AI được tạo dựa trên giọng của giảng viên.

Chi tiết nội dung bài giảng

LLM tiếp nhận đầu vào như thế nào?

Mô hình xử lý văn bản theo từng token, còn API phân biệt chỉ dẫn hệ thống với các tin nhắn hội thoại theo từng vai trò. Lệnh gọi Bedrock Converse trong phần thực hành cũng gửi system trong một trường riêng và sử dụng các tin nhắn user·assistant. Tài liệu tham khảo được thêm vào nội dung tin nhắn người dùng cùng với thông tin nguồn. Cần phân biệt giữa việc có vai trò hoặc thông tin nguồn và việc các cơ chế kiểm soát quyền hạn, quyền truy cập dữ liệu của ứng dụng được bảo đảm.

Tiếp đó, lần lượt xem xét lý do khó bảo đảm ranh giới quyền hạn chỉ bằng system prompt, trong ba bước RAG cắt, tìm và chèn tài liệu thì bước nào là bề mặt tấn công, agent hoạt động với quyền hạn của ai khi gọi công cụ, rồi chỉ ra cả 5 lớp kiểm soát mà dịch vụ thực tế sử dụng ngăn chặn được gì và không thể ngăn chặn được gì.

Áp dụng vào mã backend của bạn và vẽ bản đồ bề mặt tấn công

Không chỉ dừng lại ở hình minh họa. Trong buổi 2-6, bạn sẽ mở app.py của backend mà mình đã triển khai ở phần Cơ bản 1, rồi đối chiếu trong bảng xem system, messages và toolConfig của lời gọi Converse lần lượt được cấu hình như thế nào. Bạn cũng sẽ phân biệt chat_assemble, nơi tạo các mảnh nội dung theo nguồn, với đường dẫn gọi dùng để cấu thành các message và tài liệu tham khảo theo từng vai trò. Đến lúc này, bạn sẽ thấy các hình minh họa trong bài giảng nằm ở đâu trong mã của tài khoản mình, cũng như tầng kiểm soát nào đang bị bỏ trống. Ở buổi cuối, bạn sẽ hệ thống hóa những gì đã học thành bản đồ bốn tầng, rồi dùng nhiệm vụ 1 để vẽ bề mặt tấn công của dịch vụ AI mà mình thực sự đang sử dụng. Bản đồ này sẽ là bản phác thảo cho ranh giới tin cậy mà bạn sẽ vẽ ở phần Cơ bản 3.

Không có bài tập toán hay viết mã. Nội dung này giả định bạn đã hoàn thành Nhiệm vụ 0 của Cơ bản 1; nếu đã xóa stack, hãy làm theo hướng dẫn triển khai để chuẩn bị lại. Thời gian chuẩn bị phụ thuộc vào trạng thái tài khoản, quyền hạn và quyền truy cập mô hình, đồng thời bạn cũng cần kiểm tra chi phí của các tài nguyên hiện có.

Cấu trúc và phương pháp học tập

Khóa học gồm 8 buổi, bạn có thể xem thời lượng phát của từng buổi trong chương trình học hiện tại. Theo cách kết nối hình minh họa với mã, bạn có thể nghe sáu buổi về khái niệm khi đang di chuyển, còn 2-6 Gán mã và 2-7 Nhiệm vụ 1 thì chỉ cần xem trước màn hình. Ở slide tổng kết cuối mỗi buổi, hình minh họa và một câu của buổi đó sẽ được hiển thị lại, vì vậy sau này khi gặp khó khăn ở phần trung cấp, bạn có thể xem lại slide tương ứng và phần giải thích mã.

Nhiệm vụ 1 là chọn một dịch vụ AI mà bạn thực sự sử dụng và vẽ bản đồ bốn tầng của dịch vụ đó, không cần định dạng; nếu bạn chưa biết nên chọn dịch vụ nào, chỉ cần ghi tên dịch vụ lên bảng hỏi đáp, chúng tôi sẽ giúp bạn định hướng.

Bài giảng tiếp theo

Ở bài giảng tiếp theo, Bài cơ bản 3, trước khi tấn công một cách mù quáng, bạn sẽ học trình tự công việc mà đội red team thực tế thực hiện, đó là xác định phạm vi, kiểm kê tài sản và vẽ mô hình mối đe dọa; sau đó phát triển bản đồ bề mặt tấn công đã vẽ ở đây thành tài liệu mô hình mối đe dọa.

Đặc điểm của khóa học

  • Giải thích bằng nguyên lý câu “90 phần trăm được tuân thủ và điều nhất định phải được tuân thủ là hai việc khác nhau”.

  • Hình minh họa → mã của tài khoản của tôi → bản đồ bề mặt tấn công, lần lượt đi từ khái quát đến hiện vật.

  • Chỉ ra từ góc độ thực tiễn cần kiểm tra ở đâu những hạng mục dễ bị bỏ sót trong sổ đăng ký tài sản, chẳng hạn như cơ sở dữ liệu vector.

  • Học bài 8 theo trình tự tìm hiểu khái niệm · đối chiếu mã · lập bản đồ.

  • Lĩnh vực đề cập - Bảo mật trí tuệ nhân tạo (AI), nguyên lý hoạt động của LLM, bề mặt tấn công dưới góc nhìn kỹ thuật prompt, cấu trúc RAG và AI Agent (tác tử), an ninh tấn công (Offensive Security)

Sau khi hoàn thành khóa học

Sau khi hoàn thành khóa học, bạn có thể giải thích bằng nguyên lý câu nói: 「Những gì được bảo vệ 90% và những gì luôn được bảo vệ là hai điều khác nhau」, đồng thời sẽ có trong tay bản đồ bề mặt tấn công của một dịch vụ AI mà bạn sử dụng. Trong phần Cơ bản 3, bản đồ này sẽ phát triển thành tài liệu mô hình hóa mối đe dọa.

Đã hoàn thành và công khai loạt AI Red Teaming từ bài 1 đến bài 7.

Cả 7 phần đều đã được đăng tải. Nếu mới bắt đầu, hãy chuẩn bị môi trường, bản đồ bề mặt tấn công và tài liệu mô hình hóa mối đe dọa trong phần 1–3, rồi tiếp tục với các bài thực hành kiểm tra. Các sản phẩm đầu ra của phần trước sẽ được sử dụng lại ở phần sau.

Phần 2 giả định bạn đã hoàn thành nhiệm vụ 0 của phần 1. Phần 4 yêu cầu môi trường của phần 1 và tài liệu mô hình hóa mối đe dọa của nhiệm vụ 3 trong phần 3. Phần 6 yêu cầu môi trường của phần 1 và kinh nghiệm điền phiếu ghi chép của phần 4; phần 5 không phải là điều kiện tiên quyết bắt buộc. Vui lòng kiểm tra trước các điều kiện tiên quyết và vật dụng cần chuẩn bị cho phần thực hành của từng phần. Phí sử dụng AWS được tính riêng, không bao gồm trong học phí.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Chuyên gia bảo mật thực tiễn đang muốn sắp xếp xem nên kiểm tra LLM·RAG·agent từ đâu

  • Các nhà phát triển và PM muốn cùng tìm hiểu các thành phần và điểm rủi ro của dịch vụ AI

Cần biết trước khi bắt đầu?

  • Cần có môi trường thực hành được triển khai trong Mission 0 của bài giảng 1 và trải nghiệm truy vấn đầu tiên. Không yêu cầu toán học hay viết mã; nội dung bao gồm một buổi học đọc mã backend được cung cấp theo hướng dẫn.

Xin chào
Đây là rmsxodxod1289

Xác minh sự nghiệp

111

Học viên

5

Đánh giá

1

Trả lời

2.6

Xếp hạng

8

Các khóa học

Tôi là một chuyên viên thực tiễn, bắt đầu từ kiểm thử xâm nhập và xây dựng hệ thống quản lý an toàn thông tin.

Phụ trách đánh giá bảo mật hằng năm cho các nhà sản xuất ô tô hoàn chỉnh và doanh nghiệp năng lượng, bao gồm hạ tầng, web và ứng dụng.

Tôi đã đánh giá theo từng tầng và thực hiện chứng nhận ISMS-P của cùng một khách hàng qua ba lần: lần đầu, lần đánh giá sau chứng nhận và lần gia hạn.

Tôi đã tự mình thực hiện toàn bộ các biện pháp bảo vệ kỹ thuật để ứng phó.

Hiện tại, với tư cách là người phụ trách bảo vệ thông tin duy nhất trong tổ chức, tôi đang chuẩn bị đạt chứng nhận lần đầu, đồng thời triển khai quản trị an ninh AI

Tôi đang thiết kế một hệ thống. Vì đây là lĩnh vực mà các tiêu chuẩn vẫn đang được hình thành, nên bắt đầu từ việc định nghĩa các đối tượng kiểm soát񎟋

Đây là vị trí mà tôi phải trực tiếp xây dựng từ đầu.

Sở hữu các chứng chỉ Kỹ sư Bảo mật Thông tin, CPPG và đánh giá viên ISO/IEC 27001, đồng thời theo học tại Đại học Dongguk về Bảo vệ Thông tin Quốc tế.

Tôi nghiên cứu các con đường rò rỉ trong môi trường AI và đối chiếu các tiêu chuẩn chứng nhận tại Khoa An ninh Trí tuệ nhân tạo của trường cao học.

Kinh nghiệm 5 năm 9 tháng. Tên khách hàng và các lỗ hổng thực tế đã phát hiện thuộc phạm vi bảo mật nên trong các buổi giảng dạy】【。

Không đề cập trong bài giảng vì tên khách hàng và các lỗ hổng thực tế được phát hiện thuộc diện bảo mật.

Thêm
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của rmsxodxod1289

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Giảm 25% cho thành viên mới

328.399 ₫

25%

437.859 ₫