Red Team AI 6 - Đột phá các agent và RAG

Tài liệu khóa học và hướng dẫn thực hành

Giới thiệu khóa học (0-1) Hãy tải xuống tệp ZIP tài liệu học viên tổng hợp từ nút tải tài liệu của bài học. Tệp bao gồm hướng dẫn học tập mới nhất, bộ công cụ thực hành hiệu chỉnh, các biểu mẫu nhiệm vụ trước đây, cùng các trường hợp phán định bằng chứng và phần giải thích. Hãy sử dụng thêm các ghi chú bổ sung và ví dụ của các buổi học về phán định liên quan.

Các tiết trước là phần thuyết minh tổng hợp bằng AI được tạo dựa trên giọng nói của giảng viên. Phần thực hành sử dụng các mô hình Amazon Bedrock thực tế, còn công cụ và tài liệu là môi trường mô phỏng phục vụ đào tạo. Không thực hiện việc gửi email hoặc xóa tệp thực tế.

Chi phí sử dụng AWS được tính riêng với học phí và thay đổi tùy theo mô hình, khu vực, số lượng gọi, thời gian lưu trữ nhật ký, tài nguyên duy trì và các điều kiện sử dụng miễn phí. Chi phí trong khóa học chỉ là ví dụ ước tính theo các điều kiện cụ thể, còn cảnh báo ngân sách không tự động chặn sử dụng. Sau khi thực hành, hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên.

Tại sao chọn khóa học này

Mở rộng phạm vi từ chatbot trả lời ở cấp độ trung cấp 1 sang các tác nhân thực thi công cụ. Trong dịch vụ thực tế, tùy thuộc vào công cụ và thiết lập quyền, có thể phát sinh các hành động như truy cập tệp, soạn thảo bản nháp và gửi yêu cầu ra bên ngoài, vì vậy ranh giới thực thi và quy trình phê duyệt rất quan trọng. Khóa học này sử dụng mô hình thực tế cùng các công cụ và tài liệu mô phỏng; không thực hiện gửi email thực tế hay xóa tệp.

Phía tìm kiếm thì yên lặng hơn. Chỉ với một câu hỏi bình thường, tài liệu mà người dùng không có quyền xem lại bị lẫn vào câu trả lời. Tài liệu gốc vốn có kiểm soát quyền truy cập, nhưng quyền đó đã không được giữ lại khi lập chỉ mục.

Điều tạo nên sự khác biệt không phải là mô hình, mà là quyền hạn gắn phía sau mô hình. Trong khóa học này, chúng ta sẽ trực tiếp mở hai môi trường dễ bị tấn công (vuln-agent · vuln-rag), chứng minh bằng nhật ký xem ranh giới đó sụp đổ ở đâu, đồng thời để lại hai bản ghi.

Sau khi hoàn thành khóa học này, bạn sẽ có thể\Seeder

• Bạn có thể giải thích theo từng bước cấu trúc biến một yêu cầu thành nhiều lần thực thi trong một vòng lặp tác tử.

• Tạo các câu hỏi kiểm tra, phân chia ba nhánh gồm tính năng quá mức · quyền hạn quá mức · tính tự chủ quá mức theo tiêu chí của các bộ phận sẽ xử lý chúng.

• Bật và tắt cổng phê duyệt, chạy mỗi điều kiện 3 lần và ghi lại vào 11 ô của phiếu ghi chép xem quá trình thực thi dừng ở đâu.

• Phân tách những gì RAG đặt trước mô hình ở thời điểm lập chỉ mục và thời điểm truy vấn, rồi xem vì sao sự nhiễm độc đã hoàn tất ngay từ khâu lập chỉ mục.

• Quan sát những vị trí mà độ tương đồng và quyền hạn không biết đến nhau trên màn hình vuln-rag, điền vào mười bốn ô trong bảng ghi chép và nộp nhiệm vụ 6.

• Mở rộng kiểm soát thành tám tầng, ghi tách riêng tầng thu hẹp bằng xác suất và tầng quyết định bằng kết quả.

Khuyến nghị dành cho những người như sau

• Nhân viên thực hành bảo mật đã nộp Nhiệm vụ 4 cấp độ trung cấp 1 và giờ đang muốn mở rộng phạm vi đến cả việc thực thi và tìm kiếm.

• Đây là những nhà phát triển đang tích hợp tác tử hoặc RAG vào nội bộ công ty nhưng chưa quyết định nên thiết lập ranh giới quyền hạn ở đâu.

• Chuyên gia chẩn đoán cần viết báo cáo theo hướng: 「tài liệu này đã được trả về với quyền hạn này」 thay vì 「mô hình đã bịa ra câu trả lời」.

• Kiến trúc sư muốn kiểm tra các cổng phê duyệt và bộ lọc quyền hạn ở cấp độ mã nguồn để làm cơ sở thiết kế.

Có thể không phù hợp với những người như sau

• Dành cho những người đang tìm khóa học về cách sử dụng framework agent hoặc xây dựng RAG – backend thực hành đã tự triển khai vòng lặp và chức năng tìm kiếm, giúp bạn đọc mã nguồn để thấy rõ những điểm then chốt bên trong.

• Dành cho những ai muốn học vận hành cơ sở dữ liệu vector – đây là cấu trúc tính toán mười mảnh tài liệu trong bộ nhớ.

• Những người đã bỏ qua Nhiệm vụ 4 của Trung cấp 1 – không thể đọc được vì phiếu ghi chép 11 ô và 14 ô được gắn chồng lên 8 ô.

• Những người mong đợi quy trình tấn công nhằm vào hệ thống thực tế - cả bốn công cụ và tài liệu đều là giá trị giả, không chứa payload.

Mạch bài giảng - Vòng lặp tác tử → Thực hành ranh giới quyền hạn → Thực hành lập chỉ mục RAG và quyền hạn → Đơn vị mã → Tám lớp kiểm soát

Tổng cộng 15 bài. Thứ tự các phần cũng chính là thứ tự học.

• Phần 1 · Giới thiệu khóa học (1 bài · xem trước 1 bài)

• Phần 2 · Tác nhân – Ranh giới quyền hạn tại thời điểm thực thi (8 bài · 1 bài xem trước)

• Phần 3 · Tìm kiếm (RAG) - nơi chỉ mục và quyền hạn không khớp nhau (6 bài · 1 bài xem trước)

Những điều cần kiểm tra trước khi tham gia khóa học

• Để thực hành, bạn cần tài khoản AWS của mình và đăng ký phương thức thanh toán. Hãy sử dụng nguyên stack đã triển khai ở Bài cơ bản 1; nếu đã xóa, quy trình triển khai lại có trong README của thư viện tài liệu.

• Chỉ người từ 18 tuổi trở lên mới có thể tạo tài khoản AWS. Học sinh trung học cơ sở và trung học phổ thông hãy thực hành bằng tài khoản của người giám hộ.

• Chi phí thực hành AWS thay đổi tùy theo mô hình, khu vực, lượng gọi, guardrail, thời gian lưu trữ nhật ký, tài nguyên duy trì và điều kiện sử dụng miễn phí. Số tiền trong bài giảng chỉ là ví dụ ước tính theo các điều kiện cụ thể và không đảm bảo mức trần chi phí. Cảnh báo ngân sách không tự động chặn việc sử dụng, vì vậy hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên sau khi thực hành.

• Không cài đặt bất cứ thứ gì trên máy tính của bạn. Chỉ sử dụng trình duyệt Chrome hoặc Edge và AWS Console. Không hỗ trợ Safari.

• Bốn công cụ và tài liệu trong môi trường thực hành đều là giá trị giả. Không có email thực tế nào được gửi đi và không có tệp thực tế nào bị xóa.

• Một số cảnh trên bảng điều khiển AWS xuất hiện trong màn hình thực hành không phải là giao diện thực tế mà là sơ đồ mô phỏng quy trình. Tên menu và thứ tự đều giống nhau.

• Giọng thuyết minh là giọng tổng hợp AI được tạo dựa trên giọng nói của giảng viên.

Chi tiết nội dung bài giảng

Tác nhân - Ranh giới quyền hạn tại thời điểm thực thi

Khóa học này gồm hai phần. Tám buổi đầu là về tác tử, còn sáu buổi sau là về tìm kiếm. Phần về tác tử bắt đầu từ các vòng lặp. Chúng ta sẽ triển khai theo từng bước cấu trúc trong đó mô hình lựa chọn công cụ và hệ thống thực thi lựa chọn đó trên thực tế, rồi phân loại nơi quyền hạn được mở rộng theo ba hướng: quá nhiều chức năng, quá nhiều quyền hạn và quá nhiều quyền tự chủ. Tiêu chí để phân biệt ba loại này là bộ phận bị tác động.

Những người phụ trách việc cắt giảm công cụ, thu hẹp vai trò và đặt giới hạn trên cho vòng lặp là những người khác nhau, nên nếu viết gộp tất cả thành một khối thì bản khuyến nghị sẽ chẳng đi đến đâu. Tiếp đó, chúng ta chỉ ra bốn điểm khiến các tham số gọi công cụ bị dao động, rồi phân loại xem trong số đó những gì được ghi vào log và những gì không.

Thực hành · vuln-agent và vuln-rag

Thực hành được tiến hành trong hai môi trường dễ bị tấn công. vuln-agent là môi trường trong đó mô hình thực tế chọn công cụ và điền các tham số, sau đó backend dừng lại ngay trước khi thực thi để gửi thẻ phê duyệt. Trước tiên, hãy thiết lập đường cơ sở bằng một tác vụ bình thường, rồi cho mô hình đọc tài liệu bên ngoài và đặt các nhật ký của cùng một yêu cầu cạnh nhau.

Chạy ba lần mỗi điều kiện bật và tắt cổng phê duyệt để xác định quá trình thực thi dừng ở đâu, rồi ghi lại trong phiếu ghi chép mười một cột, gồm tám cột của Trung cấp 1 cộng thêm ba cột. Đây là Nhiệm vụ 5. vuln-rag hiển thị nguyên trên màn hình mảnh nào đã được trả về với mức độ tương đồng bao nhiêu. Sau khi lập chỉ mục các tài liệu bị nhiễm độc, hãy nhập cùng một truy vấn và thử tìm các tài liệu nhạy cảm bằng một người truy vấn có quyền hạn thấp. Điền phiếu ghi chép mười bốn cột tại đây là Nhiệm vụ 6.

Đơn vị mã và tám lớp kiểm soát

Chúng ta cũng xem qua mã nguồn trong hai buổi. Một phần là về cổng phê duyệt, phần còn lại là về bộ lọc quyền. Cả hai đều nói về cùng một điều: vị trí ngăn chặn phải là nhánh rẽ trên máy chủ, chứ không phải mô hình. Cổng phê duyệt chỉ được gọi là cổng khi nó nằm ngay trước thời điểm thực thi, còn bộ lọc quyền phải được áp dụng trước khi tạo danh sách ứng viên thì mới đúng là bộ lọc. Việc che đi sau khi tìm kiếm hoàn tất không phải là lọc, mà chỉ là xử lý hiển thị. Sự phân biệt này hoàn toàn thay đổi các khuyến nghị trong báo cáo.

Cuối cùng, dựa trên việc kiểm tra các biện pháp kiểm soát và cấu hình trong bài giảng trước, chúng ta sẽ tổng hợp vai trò của thiết kế quyền hạn, cổng phê duyệt và việc ghi nhật ký. Mỗi khi thêm một lớp, chủ thể đưa ra phán đoán dần chuyển từ mô hình sang mã và cấu hình. Bài giảng này hoàn toàn không đề cập đến payload hay các kỹ thuật né tránh. Điều được dạy không phải là những câu lệnh để vượt qua hệ thống, mà là cách dùng nhật ký để chứng minh ranh giới quyền hạn đã sụp đổ ở đâu; vì vậy, bài nộp gồm hai tờ ghi chép.

Cấu trúc và phương pháp học tập

Cấu trúc gồm 15 buổi, trong đó có các bài thực hành so sánh và ghi chép nhiều điều kiện. Ba buổi thực hành là phần cần mở hai trình duyệt và làm theo, vì vậy hãy dành riêng thời gian cần thiết cho việc thực hiện theo từng điều kiện, lưu lại bằng chứng và hoàn tác.

Đặc điểm của bài giảng

• Trực tiếp mở hai môi trường dễ bị tấn công để kiểm tra bằng mắt các nhật ký gọi công cụ và căn cứ tìm kiếm.

• Hãy chỉ ra rằng nơi kiểm tra và chặn cổng phê duyệt cùng bộ lọc quyền hạn ở cấp độ mã nguồn chính là các nhánh xử lý của máy chủ.

• Phải lặp lại cùng một quan sát 3 lần và ghi rõ các điều kiện kèm theo thì mới được xem là một chẩn đoán hoàn chỉnh.

• Phiếu ghi chép phát triển từ tám ô của cấp độ trung cấp 1 lên mười một ô, rồi lại thành mười bốn ô.

• Không đề cập đến payload hay các kỹ thuật né tránh, chỉ tập trung vào căn cứ đánh giá.

• Lĩnh vực đề cập - Bảo mật trí tuệ nhân tạo (AI) dưới góc nhìn kiểm thử xâm nhập · an ninh mạng tấn công, cùng bề mặt tấn công của AI Agent (tác nhân) dựa trên LLM và RAG

Sau khi hoàn thành khóa học

Sau khi hoàn thành khóa học, bạn sẽ có hai phiếu ghi chép: phiếu ghi chép Agent (mười một mục) và phiếu ghi chép RAG (mười bốn mục), đồng thời các lớp kiểm soát sẽ tăng lên thành tám lớp. Bạn sẽ có thể chứng minh bằng mã nguồn và nhật ký rằng cổng phê duyệt phải được đặt ngay trước khi thực thi, còn bộ lọc quyền hạn phải được đặt trước khi tạo danh sách ứng viên.

Bài 7 của series “AI Red Teaming: Tự mình đột phá”

• Red Teaming AI 1 - Nhập môn bảo mật LLM và môi trường thực hành

• Red Teaming AI 2 - Nguyên lý hoạt động của LLM và bề mặt tấn công

• AI Red Team 3 - Công việc của Red Team và lập mô hình mối đe dọa

• Red Team AI 4 - Trực tiếp vượt qua Prompt Injection

• AI Red Teaming 5 - Một thiết lập bị bỏ sót mở ra cuộc tấn công

• AI Red Teaming 6 - Tấn công agent và RAG ← Bài giảng này

• AI Red Teaming 7 - Thiết kế kiểm soát và báo cáo Red Team

Vì sản phẩm đầu ra của nhiệm vụ trong bài giảng trước sẽ trở thành nguyên liệu cho bài giảng sau, các bài giảng được công bố theo thứ tự số; những bài giảng chưa phát hành sẽ lần lượt được công bố.