inflearn logo

Red Team AI 3 - Công việc của Red Team và mô hình hóa mối đe dọa

Trước khi thực hiện, xác định phạm vi, quy tắc giao chiến, điều kiện thử nghiệm và căn cứ đánh giá. Liên kết các tài sản AI, ranh giới tin cậy và các kịch bản STRIDE để lập kế hoạch red team và tài liệu mô hình mối đe dọa, đồng thời phân định phạm vi những gì có thể kết luận từ các kết quả lặp lại.

1 học viên đang tham gia khóa học này

Độ khó Cơ bản

Thời gian Không giới hạn

Penetration Testing
Penetration Testing
security
security
AI
AI
LLM
LLM
Offensive Security
Offensive Security
Penetration Testing
Penetration Testing
security
security
AI
AI
LLM
LLM
Offensive Security
Offensive Security

Bạn sẽ nhận được điều này sau khi học.

  • Phân biệt vai trò và sự khác nhau trong phương thức đánh giá của đội đỏ, đội xanh và đội tím.

  • Soạn thảo quy tắc giao chiến và kế hoạch bao gồm phạm vi, các hành vi bị cấm, tiêu chí chấm dứt và quy trình phê duyệt.

  • Trong cùng điều kiện, phân biệt các đánh giá đã hoàn tất, số lần thiết lập, lỗi và các trường hợp chưa được quan sát, đồng thời ghi lại những hạn chế của kết quả lặp lại.

  • Kết nối tài sản AI, ranh giới tin cậy, STRIDE và các thẻ kịch bản để hoàn thiện tài liệu mô hình hóa mối đe dọa cho nhiệm vụ 3.

Tài liệu khóa học và hướng dẫn thực hành

Giới thiệu bài giảng (0-1) Hãy tải tệp ZIP tài liệu học viên tổng hợp từ nút tải xuống tài liệu của bài học. Tệp bao gồm hướng dẫn học tập mới nhất, bộ công cụ thực hành hiệu chỉnh, các mẫu nhiệm vụ hiện có, cùng các ví dụ và phần giải thích về phán định bằng chứng. Hãy đồng thời sử dụng các ghi chú bổ sung và ví dụ của bài học phán định liên quan.

Toàn bộ phần học này sử dụng lời thuyết minh tổng hợp bằng AI được tạo dựa trên giọng nói của giảng viên. Phần thực hành sử dụng các mô hình Amazon Bedrock thực tế, còn công cụ và tài liệu là môi trường mô phỏng phục vụ đào tạo. Không thực hiện gửi email thực tế hoặc xóa tệp.

Chi phí sử dụng AWS được tính riêng với học phí và thay đổi tùy theo mô hình, khu vực, số lượng yêu cầu, thời gian lưu trữ nhật ký, tài nguyên duy trì và các điều kiện sử dụng miễn phí. Chi phí của khóa học chỉ là ví dụ ước tính trong những điều kiện cụ thể, còn cảnh báo ngân sách không tự động chặn chi phí. Sau khi thực hành, hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên.

Tại sao lại là khóa học này?

Tôi đã nhập cùng một prompt năm lần: hai lần hệ thống prompt bị lộ ra, còn ba lần bị từ chối. Nếu chỉ ghi 「Có lỗ hổng」 vào báo cáo, bên nhận sẽ không biết phải làm gì, còn nếu ghi 「An toàn」 thì đó sẽ là lời nói dối.

Đây là điểm mà việc chẩn đoán AI khác với chẩn đoán web, và câu hỏi của khóa học này là làm thế nào để viết dòng này.

Trước khi tấn công một cách mù quáng, chúng ta sẽ tìm hiểu những việc mà đội đỏ thực tế thực hiện. Xác định phạm vi và quy tắc giao chiến, thiết lập tỷ lệ tái hiện và tiêu chí đánh giá, rồi xây dựng mô hình mối đe dọa cho backend đã triển khai ở phần Cơ bản 1. Cuối cùng, bạn sẽ có trong tay hai tài liệu: kế hoạch đội đỏ và hồ sơ mô hình mối đe dọa.

Những điều bạn có thể làm sau khi hoàn thành khóa học này

  • 레드팀·블루팀·퍼플팀, đánh giá lỗ hổng·kiểm thử xâm nhập·red teaming khác nhau như thế nào được phân biệt trên một trang duy nhất

  • Viết kế hoạch bảo vệ người thực hiện đánh giá bằng cách ghi rõ phạm vi, hành vi bị cấm, việc dừng khẩn cấp và phê duyệt vào Quy tắc giao chiến (ROE) (Nhiệm vụ 2)

  • Trong cùng một điều kiện, phân biệt số lần đánh giá đã hoàn tất, số lần được thiết lập và lỗi; xây dựng quy tắc phán định và phạm vi thử nghiệm phù hợp với căn cứ thiết lập cũng như giới hạn quan sát.

  • Mổ xẻ ứng dụng AI thành sáu phần và lập sổ tài sản theo ba nhóm: mô hình, dữ liệu và giao diện.

  • Kẻ năm ranh giới tin cậy và áp dụng sáu hạng mục STRIDE phù hợp với AI

  • Viết các thẻ kịch bản tấn công và hoàn thiện tài liệu mô hình hóa mối đe dọa (Nhiệm vụ 3)

Khuyến nghị dành cho những người như sau

  • Đã hoàn thành đến Bài cơ bản 2 và đã vẽ bản đồ bề mặt tấn công.

  • Chuyên viên bảo mật thực tiễn cần viết báo cáo đánh giá hệ thống AI nhưng đang bối rối không biết nên diễn đạt thế nào về việc “cùng một cuộc tấn công, có lúc thành công, có lúc không”.

  • Nhân sự bảo mật đã thực hiện mô hình hóa mối đe dọa trên nền tảng web nhưng chưa biết cách áp dụng vào LLM và các tác nhân AI.

  • Sinh viên chuẩn bị xin việc cần các sản phẩm đầu ra như kế hoạch và tài liệu mô hình hóa mối đe dọa để đưa vào hồ sơ năng lực.

Có thể khóa học này không phù hợp với những người sau đây

  • Những người mong đợi thực hành tấn công thực tế trong khóa học này – không có thao tác trên bảng điều khiển, mà sẽ viết hai tài liệu.

  • Những người muốn học cách sử dụng công cụ tự động hóa mô hình hóa mối đe dọa – phương pháp là điền thủ công hai loại biểu mẫu.

  • Dành cho những người muốn tìm hiểu sâu về lý thuyết mô hình hóa mối đe dọa trên web - STRIDE chỉ được đọc lại ở mức cần thiết cho AI

  • Những người chưa có Nhiệm vụ 1 của phần Cơ bản 2 (bản đồ bề mặt tấn công) - mô hình mối đe dọa trong Phần 2 sẽ tiếp tục sử dụng bản đồ đó

Mạch bài giảng - Thực hành đội đỏ → Tiêu chí đánh giá → Mô hình mối đe dọa → Hai tài liệu đầu ra

Tổng cộng 12 bài học. Thứ tự các phần cũng chính là thứ tự học.

  • Phần 1 · Giới thiệu khóa học (1 bài · xem trước 1 bài)

  • Mục 2 · Phần 1 · Đội đỏ làm việc như thế nào (5 bài · 1 bài xem trước)

  • Phần 3 · Phần 2 · Mô hình hóa mối đe dọa AI (6 bài · xem trước 1 bài)

Những điều cần kiểm tra trước khi tham gia khóa học

  • Giả định rằng bạn đã hoàn thành Nhiệm vụ 1 của phần Cơ bản 2.

  • Bài tập tài liệu của bài giảng này có thể được thực hiện mà không cần gọi mô hình mới. Vui lòng kiểm tra riêng chi phí duy trì và sử dụng các tài nguyên AWS hiện có.

  • Tải xuống và điền 2 mẫu biểu (redteam-plan.md · threat-model.md) từ thư viện tài liệu.

  • Giọng thuyết minh là giọng nói tổng hợp bằng AI được tạo dựa trên giọng của giảng viên.

Chi tiết nội dung bài giảng

Phần 1 · Red team làm việc như thế nào

Trong Phần 1 ở trước, chúng ta sẽ xem đội đỏ thực sự làm việc như thế nào. Chúng tôi tóm tắt trên một trang đội đỏ, đội xanh và đội tím là những đội thực hiện công việc gì, cũng như chẩn đoán lỗ hổng, kiểm thử xâm nhập và red teaming khác nhau thế nào về phạm vi và độ sâu, đồng thời đề cập đến các quy tắc giao chiến—điểm thường phát sinh tranh chấp. Tài liệu ghi rõ vì sao danh sách loại trừ quan trọng hơn danh sách bao gồm, tín hiệu nào xuất hiện thì phải dừng ngay lập tức, ai phê duyệt và cần lưu lại những gì sẽ bảo vệ người thực hiện chẩn đoán. Tiếp theo là tính không quyết định.

Phân biệt giữa các đánh giá đã hoàn tất, số lần đạt điều kiện và lỗi; đồng thời thiết lập căn cứ phán định và phạm vi thử nghiệm. 3·10·20 lần là ví dụ về kế hoạch thử nghiệm trong bài giảng, và chỉ riêng số lần không thể bảo đảm an toàn. Đồng thời, sử dụng các trường hợp bổ sung để phân biệt giữa việc chưa quan sát được và việc không áp dụng về mặt cấu trúc. Phần 1 khép lại bằng Nhiệm vụ 2, trong đó bạn trực tiếp viết kế hoạch red team.

Phần 2 · Lập mô hình mối đe dọa AI

Phần 2 là mô hình hóa mối đe dọa. Chúng ta mổ xẻ ứng dụng AI qua sáu bước mà một yêu cầu đi qua, phân biệt những gì chúng ta tạo ra với những gì chúng ta mượn dùng, rồi ghi các tài sản vào sổ đăng ký theo ba nhóm: mô hình, dữ liệu và giao diện. Tiếp đó, chúng ta vạch ra năm ranh giới tin cậy; năm con số này sẽ được các bài giảng sau sử dụng nguyên vẹn từ cấp trung cấp 1 đến nâng cao. Sau khi học cách diễn giải lại sáu chữ cái STRIDE cho phù hợp với AI và cách viết thẻ kịch bản tấn công, chúng ta hoàn thiện tài liệu mô hình hóa mối đe dọa bằng Nhiệm vụ 3.

Cấu trúc và phương pháp học tập

Khóa học gồm 12 buổi; sau phần giới thiệu bài giảng, Phần 1 gồm năm buổi và Phần 2 gồm sáu buổi lần lượt được khép lại bằng các nhiệm vụ. Nhiệm vụ 2 và 3 tiếp tục sử dụng cùng một đối tượng. Ở 1-5, học viên lập kế hoạch dựa trên một chatbot AI nội bộ giả định, rồi ở 2-6 hoàn thiện hồ sơ mô hình hóa mối đe dọa cho chính đối tượng đó, nhờ vậy hai tài liệu không bị tách rời mà trở thành tài liệu chuẩn bị cho một lần đánh giá duy nhất.

Trong 2-5, chúng ta sẽ thực sự viết một thẻ kịch bản tấn công, lấy chatbot trợ lý tài liệu nội bộ làm ví dụ, đồng thời tìm hiểu cả các tiêu chí để quyết định nên xem xét thẻ nào trước khi có đến hai mươi thẻ. Nếu có mục nào trong biểu mẫu khiến bạn phân vân khi điền, chỉ cần đăng riêng mục đó lên bảng câu hỏi, tôi sẽ trả lời kèm căn cứ.

Bài giảng tiếp theo

Tại đây, phần cơ bản khép lại. Từ bài giảng tiếp theo, Trung cấp 1, chúng ta sẽ trực tiếp vượt qua màn hình đã xem ở tiết cuối của Cơ bản 1, đồng thời ghi lại cách một tham số và một dòng mã thay đổi độ tái hiện.

Đặc điểm của bài giảng

  • Luyện tập cách ghi lại số lần đạt được trong các đánh giá đã hoàn tất, cùng với căn cứ phán định và những hạn chế.

  • Số hiệu của năm ranh giới tin cậy được duy trì xuyên suốt đến cuối loạt bài, và mọi phát hiện trong các bài giảng sau đều được sắp xếp theo những số hiệu này.

  • Vì đây là cách điền hai loại biểu mẫu (kế hoạch và mô hình mối đe dọa), nên sản phẩm đầu ra được lưu lại nguyên vẹn.

  • Giải thích theo hình thức chỉ cần thêm ba cột vào sổ đăng ký tài sản thông tin hiện có, để có thể sử dụng ngay trong thực tế công việc.

  • Lĩnh vực đề cập - Kiểm thử xâm nhập · An ninh mạng tấn công · Bảo mật trí tuệ nhân tạo (AI) dưới góc nhìn AI security, lập mô hình mối đe dọa LLM

Sau khi hoàn thành khóa học,

Sau khi hoàn thành khóa học, bạn sẽ có trong tay hai tài liệu: kế hoạch red team và mô hình mối đe dọa. Cả hai đều được thực hiện bằng cách điền vào biểu mẫu trong thư viện tài liệu, nên có thể đưa thẳng vào portfolio; bản đồ bề mặt tấn công đã vẽ ở phần Cơ bản 2 sẽ được phát triển thành mô hình mối đe dọa tại đây. Bài tập tài liệu có thể hoàn thành mà không cần gọi mô hình mới; vui lòng kiểm tra riêng chi phí duy trì và sử dụng các tài nguyên AWS hiện có.

Series “Red Team AI tự mình thử xâm nhập” – Bài 7

  • Red Teaming AI 1 - Nhập môn bảo mật LLM và môi trường thực hành

  • Đội đỏ AI 2 - Nguyên lý hoạt động và bề mặt tấn công của LLM

  • AI Red Teaming 3 - Công việc của đội Red Team và lập mô hình mối đe dọa ← Bài giảng này

  • AI Red Teaming 4 - Trực tiếp phá vỡ Prompt Injection

  • AI Red Teaming 5 - Một thiết lập bị thiếu mở ra cuộc tấn công

  • AI Red Teaming 6 - Vượt qua tác tử và RAG

  • Đội đỏ AI 7 - Thiết kế kiểm soát và báo cáo đội đỏ

Vì sản phẩm đầu ra của nhiệm vụ trong bài giảng trước sẽ trở thành nguyên liệu cho bài giảng sau, các bài giảng được công bố theo thứ tự số và những bài giảng chưa phát hành sẽ lần lượt được công bố.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Nhân viên phụ trách bảo mật và chuyên viên chẩn đoán cần xác định phạm vi chẩn đoán AI và căn cứ đánh giá

  • Nhà phát triển và kiến trúc sư thiết kế hoặc đánh giá ranh giới tin cậy của dịch vụ AI

Cần biết trước khi bắt đầu?

  • Hãy chuẩn bị bản đồ bề mặt tấn công cho Nhiệm vụ 1 của Bài 2. Tìm hiểu các thành phần của môi trường thực hành được cung cấp và sử dụng trình soạn thảo văn bản để soạn kế hoạch cho Nhiệm vụ 2 và mô hình mối đe dọa cho Nhiệm vụ 3.

Xin chào
Đây là rmsxodxod1289

Xác minh sự nghiệp

Tôi là một chuyên viên thực tiễn, bắt đầu từ kiểm thử xâm nhập và xây dựng hệ thống quản lý an toàn thông tin.

Phụ trách đánh giá bảo mật hằng năm cho các nhà sản xuất ô tô hoàn chỉnh và doanh nghiệp năng lượng, bao gồm hạ tầng, web và ứng dụng.

Tôi đã đánh giá theo từng tầng và thực hiện chứng nhận ISMS-P của cùng một khách hàng qua ba lần: lần đầu, lần đánh giá sau chứng nhận và lần gia hạn.

Tôi đã tự mình thực hiện toàn bộ các biện pháp bảo vệ kỹ thuật để ứng phó.

Hiện tại, với tư cách là người phụ trách bảo vệ thông tin duy nhất trong tổ chức, tôi đang chuẩn bị đạt chứng nhận lần đầu, đồng thời triển khai quản trị an ninh AI

Tôi đang thiết kế một hệ thống. Vì đây là lĩnh vực mà các tiêu chuẩn vẫn đang được hình thành, nên bắt đầu từ việc định nghĩa các đối tượng kiểm soát񎟋

Đây là vị trí mà tôi phải trực tiếp xây dựng từ đầu.

Sở hữu các chứng chỉ Kỹ sư Bảo mật Thông tin, CPPG và đánh giá viên ISO/IEC 27001, đồng thời theo học tại Đại học Dongguk về Bảo vệ Thông tin Quốc tế.

Tôi nghiên cứu các con đường rò rỉ trong môi trường AI và đối chiếu các tiêu chuẩn chứng nhận tại Khoa An ninh Trí tuệ nhân tạo của trường cao học.

Kinh nghiệm 5 năm 9 tháng. Tên khách hàng và các lỗ hổng thực tế đã phát hiện thuộc phạm vi bảo mật nên trong các buổi giảng dạy】【。

Không đề cập trong bài giảng vì tên khách hàng và các lỗ hổng thực tế được phát hiện thuộc diện bảo mật.

Thêm

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của rmsxodxod1289

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

204.957 ₫

68%

644.150 ₫