inflearn logo

AI Red Teaming 5 - Một thiết lập bị bỏ sót mở đường cho cuộc tấn công

Kiểm tra các cài đặt của dịch vụ AI như khóa, phạm vi truy cập, giới hạn gọi, quyền thực thi, rào chắn và nhật ký. Duy trì các điều kiện khác, so sánh trước và sau khi kiểm soát, đồng thời xem xét cả việc xử lý đầu ra để lập bảng kiểm tra cài đặt và hồ sơ chẩn đoán cho Nhiệm vụ 4-2.

1 học viên đang tham gia khóa học này

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

Penetration Testing
Penetration Testing
AWS
AWS
aws-iam
aws-iam
AI
AI
LLM
LLM
Penetration Testing
Penetration Testing
AWS
AWS
aws-iam
aws-iam
AI
AI
LLM
LLM

Bạn sẽ nhận được điều này sau khi học.

  • Đọc vai trò mà tài nguyên và giá trị trong tệp cấu hình thực hành đảm nhiệm trong dịch vụ.

  • Phân biệt các khái niệm về khóa, phạm vi truy cập, giới hạn gọi, thời gian chờ, ngân sách, quyền hạn, guardrail và ghi nhật ký, đồng thời liên kết chúng với hàng tương ứng trong danh sách kiểm tra.

  • Điều chỉnh các điều kiện kiểm thử trước và sau guardrail để so sánh kết quả, nhật ký và chức năng bình thường.

  • Hoàn thành nhiệm vụ 4-2 bằng cách điền giá trị hiện tại, căn cứ quan sát và ý kiến cải thiện vào 8 hàng của bảng kiểm, bao gồm cả phần xử lý đầu ra.

Tài liệu khóa học và hướng dẫn thực hành

Giới thiệu bài giảng (0-1) Hãy tải ZIP tài liệu học viên tích hợp từ nút tải tài liệu của bài học. Tài liệu bao gồm hướng dẫn học tập mới nhất, bộ công cụ thực hành hiệu chỉnh, các biểu mẫu nhiệm vụ trước đây, cùng các ví dụ và phần giải thích về việc đánh giá bằng chứng. Hãy sử dụng thêm các ghi chú bổ sung và ví dụ trong bài học đánh giá liên quan.

Toàn bộ bài trước là phần thuyết minh tổng hợp bằng AI được tạo dựa trên giọng nói của giảng viên. Phần thực hành sử dụng các mô hình Amazon Bedrock thực tế, còn công cụ và tài liệu là môi trường mô phỏng phục vụ đào tạo. Không thực hiện gửi email hoặc xóa tệp thực tế.

Chi phí sử dụng AWS được tính riêng với học phí và thay đổi tùy theo mô hình, khu vực, số lượng lệnh gọi, thời gian lưu trữ nhật ký, tài nguyên duy trì và điều kiện sử dụng miễn phí. Chi phí trong khóa học chỉ là ví dụ ước tính theo các điều kiện cụ thể, còn cảnh báo ngân sách không tự động chặn chi phí phát sinh. Sau khi thực hành, hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên.

Tại sao chọn khóa học này

Trong phần Trung cấp 1, chúng ta đã xem qua một dòng gọi và hàm lắp ráp. Nguyên nhân của các sự cố trong thực tế không chỉ nằm ở mã nguồn mà còn ở phần cấu hình: API không có khóa, endpoint cho phép truy cập từ bất kỳ origin nào, các cuộc gọi không có giới hạn trên, vai trò có phạm vi rộng hơn mức cần thiết, bộ lọc chưa được bật và nhật ký không được lưu lại.

Đó đều là những thứ được xác định bên ngoài mã nguồn, đồng thời cũng là những mục thường bị bỏ sót nhất khi chẩn đoán.

Bài giảng này tập trung vào các đơn vị thiết kế đó. Bạn sẽ lần lượt bật và tắt tám hạng mục trong stack AWS của mình để quan sát những gì được mở ra, trực tiếp tích hợp Bedrock Guardrails và ghi nhật ký lệnh gọi để đối chiếu, sau đó hoàn thành bảng kiểm tra các thiết lập bị thiếu.

Sau khi hoàn thành khóa học này, bạn sẽ có thể làm được những việc sau

  • Có thể phân biệt ba đơn vị: tham số, mã và thiết kế, đồng thời nói được cấu hình nằm ở tầng nào.

  • Đọc bốn phần trong cấu hình của template.yaml và xác định tài nguyên nào mở ra điều gì.

  • Quan sát việc loại bỏ khóa, các lệnh gọi đến origin khác và các lệnh gọi proxy do API không có xác thực mở ra, rồi đối chiếu với OWASP LLM06.

  • Đối chiếu trạng thái tắt và bật giới hạn tốc độ, thời gian chờ, cảnh báo ngân sách để xác nhận Unbounded Consumption.

  • Tạo và gắn Bedrock Guardrails, chạy cùng một cuộc tấn công 3 lần khi tắt và 3 lần khi bật, rồi so sánh nhật ký chặn.

  • Bật ghi nhật ký lệnh gọi chỉ bằng một thiết lập và tận mắt xác nhận rằng 「không có bản ghi thì không có tái hiện」.

Khuyến nghị dành cho những người như sau

  • Nhân viên bảo mật thực tiễn đã trực tiếp quan sát prompt injection ở cấp độ trung cấp 1

  • Nhân sự phụ trách hạ tầng và nền tảng cần xây dựng các hạng mục kiểm tra cấu hình trong quá trình vận hành dịch vụ AI

  • Chuyên viên chẩn đoán đã từng đánh giá cấu hình đám mây nhưng chưa biết điều gì thay đổi trong ngăn xếp AI.

  • Nhân sự phụ trách tuân thủ cần đưa ra căn cứ dựa trên Luật Cơ bản về AI và ISMS-P ở cấp độ cấu hình

Điều này có thể không phù hợp với những người sau đây

  • Những người đang tìm kiếm khóa học ôn thi chứng chỉ AWS hoặc khóa học thiết lập bảo mật AWS nói chung - chỉ đề cập đến tám hạng mục của một stack thực hành duy nhất

  • Những người không thể thay đổi stack thực hành – vì đây là bài thực hành trực tiếp bật và tắt các giá trị cấu hình, nên cần stack của chính bạn đã triển khai ở Cơ bản 1.

  • Những người đã bỏ qua Nhiệm vụ 4 của Trung cấp 1 (phiếu ghi chép chẩn đoán) - bảng kiểm sử dụng cùng ngôn ngữ đánh giá với phiếu ghi chép đó

  • Những người mong đợi payload hoặc kỹ thuật bypass – ở đây cũng không cung cấp.

Mạch bài giảng - Định nghĩa đơn vị cấu hình → Bật và tắt theo từng hạng mục → Đối chiếu guardrail·logging → Bảng kiểm tra

Tổng cộng 11 bài. Thứ tự các phần cũng chính là thứ tự học.

  • Phần 1 · Giới thiệu bài giảng (1 bài · 1 bài xem trước)

  • Phần 2 · Đơn vị cài đặt - khóa · hạn mức · quyền hạn (4 bài · xem trước 1 bài)

  • Phần 3 · Thực hành · Guardrail · Ghi nhật ký · Đầu ra (3 bài)

  • Phần 4 · Bảng kiểm tra và tổng kết (3 bài giảng)

Những điều cần kiểm tra trước khi học

  • Để thực hành, bạn cần tài khoản AWS của mình và đăng ký phương thức thanh toán. Hãy sử dụng nguyên stack đã tạo trong Bài cơ bản 1; nếu đã xóa, quy trình tải lên lại bằng tệp zip trong thư viện tài liệu được hướng dẫn trong README_AWS bên trong tệp zip.

  • Chỉ người từ 18 tuổi trở lên mới có thể tạo tài khoản AWS. Học sinh trung học cơ sở và trung học phổ thông hãy thực hành bằng tài khoản của người giám hộ.

  • Chi phí thực hành AWS thay đổi tùy theo mô hình, khu vực, lượng gọi, guardrail, thời gian lưu trữ nhật ký, tài nguyên duy trì và điều kiện sử dụng miễn phí. Mức phí trong bài giảng chỉ là ví dụ ước tính theo các điều kiện cụ thể và không đảm bảo mức trần chi phí. Cảnh báo ngân sách không tự động chặn sử dụng, vì vậy hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên sau khi thực hành.

  • Trên PC của bạn không cần cài đặt gì cả. Chỉ sử dụng trình duyệt Chrome hoặc Edge và AWS Console. Không hỗ trợ Safari.

  • Một số cảnh trên bảng điều khiển AWS xuất hiện trong màn hình thực hành không phải là giao diện thực tế mà là sơ đồ mô phỏng quy trình. Tên menu và thứ tự đều giống nhau.

  • Phần thuyết minh là giọng nói tổng hợp bằng AI được tạo dựa trên giọng của giảng viên.

Chi tiết nội dung bài giảng

Đơn vị thiết kế là gì?

Bài giảng này đề cập đến các đơn vị thiết kế. Nếu tham số là một dòng gọi và mã là một hàm, thì thiết kế là stack và bảng điều khiển bao quanh hàm đó. Ở bài đầu tiên, chúng ta sẽ phân biệt ba đơn vị, sau đó lần lượt bật và tắt từng mục trong tám mục.

Các đơn vị cấu hình - Khóa · Giới hạn · Quyền hạn

1-1 là nơi cấu hình được đặt. Đọc bốn phần trong cấu trúc của template.yaml và xác định tài nguyên nào mở chức năng gì. 1-2 là khóa và cánh cửa. Thử gọi ba lần sau khi bỏ khóa, gọi từ một origin khác và quan sát các lệnh gọi thay mặt được API không có xác thực mở ra. 1-3 là giới hạn và ngân sách. So sánh các trạng thái tắt và bật của giới hạn 2 yêu cầu mỗi giây và 5 yêu cầu tức thời, Lambda 60 giây, cùng cảnh báo ngân sách 80%. 1-4 là quyền hạn.

Xác nhận bằng vai trò IAM quá trình sự khác biệt giữa quyền tối thiểu và quyền quản trị trở thành bề mặt tấn công, đồng thời liên kết đến cả Khoản 4 Điều 34, Khoản 1 của Luật Cơ bản về AI.

Thực hành · Guardrails · Ghi nhật ký · Đầu ra

1-5 là trọng tâm của bài giảng này. Chúng ta sẽ tự tạo và gắn Bedrock Guardrails, rồi chạy cùng một cuộc tấn công ba lần khi tắt guardrail và ba lần khi bật để xem điều gì thay đổi. Các bước chặn sẽ được ghi lại trong nhật ký trên màn hình, đồng thời phản hồi cũng cho biết có sự can thiệp hay không, nên có thể dễ dàng đối chiếu bằng mắt. 1-6 là phần ghi nhật ký.

Việc ghi nhật ký lệnh gọi được cấu hình chỉ bằng một tham số trong stack, nên khi tắt thì trên CloudWatch không để lại dấu vết nào, còn khi bật và cập nhật stack thì mỗi lượt sẽ để lại một dòng. Khó có cách nào thể hiện rõ hơn điều này rằng nếu không có bản ghi thì không thể tái hiện. 1-7 là đầu ra. Câu trả lời của mô hình chảy theo bốn hướng: trình duyệt, shell, cơ sở dữ liệu và prompt tiếp theo; điều đó có nghĩa là bên biết đích đến không phải mô hình, mà là đoạn mã tiếp nhận rồi chuyển tiếp.

Bảng kiểm tra và tổng hợp

Trong ba buổi cuối, hãy xem bảng đối chiếu khái niệm và biểu mẫu, gộp ngân sách với thời gian chờ, hoàn thành tám dòng trong bảng kiểm tra bao gồm cả xử lý đầu ra rồi nộp nhiệm vụ 4-2, đồng thời xây dựng lớp cấu hình trên năm lớp kiểm soát đã thiết lập ở cấp trung. Lớp đó sẽ tiếp nối thành tám lớp ở cấp nâng cao.

Mỗi mục đều ghi kèm căn cứ. Các mục sẽ được gắn số tương ứng trong OWASP LLM Top 10, phần quyền hạn và ghi chép sẽ gắn điều khoản của Điều 34 Luật Cơ bản về AI, còn các hạng mục kiểm tra sẽ gắn số tiêu chí chứng nhận ISMS-P. Khi chuyển kết quả chẩn đoán sang báo cáo, công việc tốn nhiều thời gian nhất là tìm và bổ sung căn cứ; nếu ghi lại ngay trong lúc quan sát thì gần như có thể loại bỏ khoảng thời gian đó. Đó là lý do vì sao hai ô cuối trong sáu ô của bảng kiểm tra là căn cứ và xác nhận hoàn nguyên.

Cấu trúc và phương pháp học tập

Khóa học gồm 11 buổi, trong đó có 2 buổi thực hành. Vì đây là các bài thực hành thay đổi giá trị cấu hình, chúng ta đặt ra một nguyên tắc: chỉ thay đổi trên stack của các bạn, và sau khi kết thúc thì khôi phục về ban đầu hoặc xóa đi. Payload và các kỹ thuật vượt qua cũng không được đưa vào đây.

Đặc điểm của bài giảng

  • Thiết kế gồm tám hạng mục, lần lượt tắt rồi bật từng hạng mục một lần để trực tiếp quan sát những gì được mở ra.

  • Tạo và gắn Bedrock Guardrails, tắt cùng một cuộc tấn công rồi bật 3 lần và đối chiếu 3 lần.

  • 호ạt động ghi nhật ký lệnh gọi là một tham số của stack, nên bạn sẽ trực tiếp trải nghiệm việc “chỉ cần thay đổi một cài đặt là sẽ có bản ghi”.

  • Mỗi mục đều được đính kèm căn cứ là số OWASP LLM và điều khoản của Luật Cơ bản về AI.

  • Lĩnh vực đề cập - thiết lập bảo mật AI (trí tuệ nhân tạo) dưới góc nhìn kiểm thử xâm nhập · an ninh mạng tấn công, guardrail và ghi nhật ký LLM, quyền AWS IAM (aws-iam)

Sau khi hoàn thành khóa học

Sau khi hoàn thành khóa học, bảng kiểm tra tám mục về thiếu sót cấu hình sẽ được giữ nguyên ở trạng thái đã điền đầy đủ, kèm theo các số căn cứ (OWASP LLM · AI 기본법 · ISMS-P). Trên năm lớp kiểm soát của cấp trung 1 sẽ được chồng thêm một lớp cấu hình. Lớp đó nối tiếp thành tám lớp của cấp nâng cao.

Bài 7 của series “Red teaming AI: Tự mình thử đột phá”

  • AI Red Teaming 1 - Nhập môn bảo mật LLM và môi trường thực hành

  • AI Red Team 2 - Nguyên lý hoạt động và bề mặt tấn công của LLM

  • AI Red Teaming 3 - Công việc của đội Red Team và mô hình hóa mối đe dọa

  • AI Red Teaming 4 - Trực tiếp vượt qua Prompt Injection

  • AI Red Teaming 5 - Một thiết lập bị bỏ sót mở ra cuộc tấn công ← Bài giảng này

  • AI Red Teaming 6 - Đột phá agent và RAG

  • AI Red Teaming 7 - Thiết kế kiểm soát và báo cáo Red Team

Các sản phẩm đầu ra của nhiệm vụ trong bài giảng trước trở thành tài liệu cho bài giảng sau, vì vậy các bài giảng được công bố theo thứ tự số và những bài giảng chưa phát hành sẽ lần lượt được công bố.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Nhân viên phụ trách an ninh và nền tảng cần xây dựng các tiêu chí kiểm tra cấu hình đám mây của dịch vụ AI

  • Nhà phát triển và chuyên gia chẩn đoán muốn giải thích dựa trên hiệu quả áp dụng guardrail và các biện pháp kiểm soát còn thiếu

Cần biết trước khi bắt đầu?

  • Cần có kinh nghiệm viết phiếu ghi chép chẩn đoán cho Nhiệm vụ 4 của Bài 4 và môi trường thực hành của Bài 1. Sử dụng bộ công cụ thực hành bao gồm guardrail và ghi nhật ký cuộc gọi; có thể phát sinh chi phí tùy theo điều kiện sử dụng AWS. Đồng thời sử dụng bảng đối chiếu khái niệm và danh sách kiểm tra trong hướng dẫn học tập.

Xin chào
Đây là rmsxodxod1289

Xác minh sự nghiệp

Tôi là một chuyên viên thực tiễn, bắt đầu từ kiểm thử xâm nhập và xây dựng hệ thống quản lý an toàn thông tin.

Phụ trách đánh giá bảo mật hằng năm cho các nhà sản xuất ô tô hoàn chỉnh và doanh nghiệp năng lượng, bao gồm hạ tầng, web và ứng dụng.

Tôi đã đánh giá theo từng tầng và thực hiện chứng nhận ISMS-P của cùng một khách hàng qua ba lần: lần đầu, lần đánh giá sau chứng nhận và lần gia hạn.

Tôi đã tự mình thực hiện toàn bộ các biện pháp bảo vệ kỹ thuật để ứng phó.

Hiện tại, với tư cách là người phụ trách bảo vệ thông tin duy nhất trong tổ chức, tôi đang chuẩn bị đạt chứng nhận lần đầu, đồng thời triển khai quản trị an ninh AI

Tôi đang thiết kế một hệ thống. Vì đây là lĩnh vực mà các tiêu chuẩn vẫn đang được hình thành, nên bắt đầu từ việc định nghĩa các đối tượng kiểm soát񎟋

Đây là vị trí mà tôi phải trực tiếp xây dựng từ đầu.

Sở hữu các chứng chỉ Kỹ sư Bảo mật Thông tin, CPPG và đánh giá viên ISO/IEC 27001, đồng thời theo học tại Đại học Dongguk về Bảo vệ Thông tin Quốc tế.

Tôi nghiên cứu các con đường rò rỉ trong môi trường AI và đối chiếu các tiêu chuẩn chứng nhận tại Khoa An ninh Trí tuệ nhân tạo của trường cao học.

Kinh nghiệm 5 năm 9 tháng. Tên khách hàng và các lỗ hổng thực tế đã phát hiện thuộc phạm vi bảo mật nên trong các buổi giảng dạy】【。

Không đề cập trong bài giảng vì tên khách hàng và các lỗ hổng thực tế được phát hiện thuộc diện bảo mật.

Thêm

Chương trình giảng dạy

Tất cả

11 bài giảng ∙ (1giờ 20phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của rmsxodxod1289

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

1.955 ₫

67%

995.505 ₫