inflearn logo

Red Teaming AI 4 - Trực tiếp phá vỡ prompt injection

Để không kết luận kết quả chẩn đoán chỉ dựa trên một phản hồi, hãy đối chiếu các điều kiện đầu vào, kết quả lặp lại, lỗi và nhật ký. Quan sát các cuộc tấn công chèn prompt trực tiếp và gián tiếp, đồng thời lập một phiếu ghi chép chẩn đoán cho Nhiệm vụ 4 có kèm căn cứ. Cần có môi trường thực hành của Phần 1 và tài liệu mô hình mối đe dọa của Phần 3.

1 học viên đang tham gia khóa học này

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

Penetration Testing
Penetration Testing
AWS
AWS
AI
AI
prompt engineering
prompt engineering
LLM
LLM
Penetration Testing
Penetration Testing
AWS
AWS
AI
AI
prompt engineering
prompt engineering
LLM
LLM

Bạn sẽ nhận được điều này sau khi học.

  • Phân biệt điểm xâm nhập và kết quả của prompt injection trực tiếp và gián tiếp.

  • Tìm kiếm các điều kiện để cuộc tấn công thành công trong tham số gọi mô hình và bộ phận lắp ghép đầu vào.

  • Lặp lại với các điều kiện cố định, so sánh riêng các điều kiện thay đổi, đồng thời ghi chép phân biệt giữa các đánh giá đã hoàn tất và các lỗi.

  • Lập phiếu ghi chép chẩn đoán Nhiệm vụ 4, phân biệt giữa “chưa quan sát được” và “không thuộc diện áp dụng về mặt cấu trúc”, đồng thời thể hiện rõ mối liên kết giữa dữ liệu đầu vào, căn cứ và phán định.

Trước khi đưa một câu trả lời đã xuất hiện một lần vào báo cáo

Ngay cả khi nhập cùng một tài liệu và câu hỏi, phản hồi của mô hình vẫn có thể khác nhau. Nếu chọn một phản hồi nổi bật trong số đó và ghi lại làm kết quả chẩn đoán, rất dễ bỏ sót các điều kiện mà kết quả đó được tạo ra.

Ghi lại các điều kiện đầu vào, lặp lại với cùng điều kiện, sau đó xem song song phản hồi của mô hình và nhật ký. Phân biệt các lỗi phát sinh trong quá trình với đánh giá đã hoàn tất. Cũng ghi riêng trường hợp không quan sát thấy hiện tượng và trường hợp bản thân chức năng đó không tồn tại. Tập hợp các căn cứ đã xác nhận theo cách này và viết một bản ghi chẩn đoán cho Nhiệm vụ 4.

Bao gồm các bài học xác định điều kiện để prompt injection trực tiếp và gián tiếp được thiết lập, đồng thời đọc mã gọi mô hình và lắp ráp đầu vào. Không cung cấp các câu né tránh hay danh sách payload. Phần thực hành cần môi trường đã chuẩn bị ở Phần 1 và tài liệu mô hình hóa mối đe dọa của Nhiệm vụ 3 ở Phần 3. Nếu mới bắt đầu, hãy hoàn thành khóa học cơ bản từ Phần 1 đến Phần 3 trước.

Tài liệu khóa học và hướng dẫn thực hành

Trong nút tải tài liệu của bài học Giới thiệu khóa học (0-1), hãy tải xuống tệp ZIP tài liệu dành cho học viên được tổng hợp. Tệp này bao gồm hướng dẫn học tập mới nhất, bộ công cụ thực hành hiệu chỉnh, các biểu mẫu nhiệm vụ trước đây, cùng các ví dụ và phần giải thích về phán định bằng chứng. Hãy sử dụng thêm các ghi chú bổ sung và ví dụ của bài học phán định liên quan.

Bài trước là phần thuyết minh tổng hợp bằng AI được tạo dựa trên giọng nói của giảng viên. Phần thực hành sử dụng các mô hình Amazon Bedrock thực tế, còn công cụ và tài liệu là môi trường mô phỏng phục vụ đào tạo. Không thực hiện gửi email thực tế hoặc xóa tệp.

Chi phí sử dụng AWS không bao gồm trong học phí và thay đổi tùy theo mô hình, khu vực, số lượng lệnh gọi, thời gian lưu trữ nhật ký, tài nguyên duy trì và các điều kiện sử dụng miễn phí. Chi phí trong khóa học chỉ là ví dụ ước tính theo các điều kiện cụ thể; cảnh báo ngân sách không tự động chặn chi phí. Sau khi thực hành, hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên.

Những điều cần xác nhận trước khi tham gia khóa học

  • Để thực hành, bạn cần tài khoản AWS của mình và đăng ký phương thức thanh toán. Hãy sử dụng nguyên trạng stack đã triển khai ở Bài cơ bản 1; nếu đã xóa, quy trình triển khai lại có trong README của kho tài liệu.

  • Chỉ người từ 18 tuổi trở lên mới có thể tạo tài khoản AWS. Học sinh trung học cơ sở và trung học phổ thông hãy thực hành bằng tài khoản của phụ huynh.

  • Chi phí thực hành AWS thay đổi tùy theo mô hình, khu vực, số lượng lệnh gọi, guardrail, thời gian lưu trữ nhật ký, tài nguyên được duy trì và các điều kiện sử dụng miễn phí. Số tiền nêu trong bài giảng chỉ là ví dụ ước tính theo một số điều kiện nhất định và không đảm bảo giới hạn chi phí tối đa. Cảnh báo ngân sách không tự động chặn việc sử dụng, vì vậy hãy kiểm tra mức sử dụng và dọn dẹp tài nguyên sau khi thực hành.

  • Trên PC của bạn không cần cài đặt gì cả. Chỉ sử dụng trình duyệt Chrome hoặc Edge và AWS Console. Không hỗ trợ Safari.

  • Một số cảnh trong bảng điều khiển AWS xuất hiện trên màn hình thực hành không phải là giao diện thực tế mà là sơ đồ mô phỏng lại quy trình. Tên và thứ tự các menu vẫn giống nhau.

  • Phần thuyết minh được tạo bằng giọng nói AI tổng hợp dựa trên giọng của giảng viên.

Chi tiết nội dung bài giảng

Điều kiện hình thành của prompt injection và đơn vị tham số·mã nguồn

Ba buổi đầu là phần khung sườn đó. Chúng ta sẽ xem injection khác gì so với các cuộc tấn công chèn truyền thống, đặt direct và indirect vào lưới 4 ô được phân chia theo điểm vào và kết quả, rồi dùng code để xác nhận lý do khó bảo đảm ranh giới chỉ bằng system prompt. Ở hai buổi giữa, chúng ta sẽ hạ hệ số từng bậc một. 1-4 là một dòng gọi.

Mở ra năm phần mà converse thực sự gửi đi, đồng thời xem cách phân biệt phản hồi bị cắt ở maxTokens với sự dao động do temperature tạo ra. Đây là bài thực hành nhỏ, trong đó cùng một payload được đưa vào ba lần ở nhiệt độ 0.2 và 0.8 để trực tiếp kiểm tra khả năng tái hiện khác nhau như thế nào. 1-5 là một hàm. Đọc năm mảnh mà phần lắp ráp tạo ra, rồi nối thành bảng đối chiếu để xác định ba điều kiện cần đã ghi nhớ trước đó được tạo ra ở dòng nào trong mã.

Thực hành · Trực tiếp đột phá và ghi chép

Bốn buổi học tiếp theo là phần thực hành và tổng kết. Sau khi vẽ bản đồ bề mặt tấn công, bạn sẽ trực tiếp quan sát injection và lặp lại injection gián tiếp 3 lần để điền đủ tám ô trong phiếu ghi chẩn đoán. Đây là Mission 4, và các phiếu ghi chép mười một ô và mười bốn ô ở những bài giảng sau đều được phát triển từ tám ô này. 0/3 của Kiểm soát ON có nghĩa là chưa quan sát được điều kiện tương ứng; “Không áp dụng” chỉ được sử dụng khi có căn cứ mang tính cấu trúc cho thấy chức năng hoặc đường dẫn đó không tồn tại. Lỗi không được tính là không thành lập, mà sẽ được kiểm tra cùng với các trường hợp phán định. Ở buổi cuối, chúng ta sẽ sắp xếp các biện pháp ngăn chặn theo từng lớp kiểm soát, nhưng có một vị trí còn thiếu trong các lớp đó. Đó là cấu hình. Nội dung này sẽ được tiếp tục ở Trung cấp 2.

Theo dõi và để lại kết quả thực thi

Trong phần thực hành, hãy lưu trữ cùng nhau các điều kiện đầu vào, phản hồi và nhật ký. Đánh dấu riêng những lần chạy xảy ra lỗi, đồng thời ghi rõ vị trí của các bản ghi làm cơ sở cho phán đoán. Ngoài thời gian xem video, bạn cần dành thời gian khởi chạy môi trường và điền vào phiếu ghi chép.

Tiếp tục sử dụng môi trường và phiếu ghi chép của phần trước.

Nếu mới bắt đầu, hãy chuẩn bị môi trường thực hành, các khái niệm cơ bản và tài liệu mô hình mối đe dọa trong các phần 1–3, sau đó chuyển sang phần 4. Phần 4 sử dụng môi trường của phần 1 và tài liệu mô hình mối đe dọa của Nhiệm vụ 3 trong phần 3.

Ở phần 6 về agent và RAG, bạn cần môi trường của phần 1 và kinh nghiệm điền phiếu ghi chép của phần 4. Phần 5 không phải là bài giảng tiên quyết bắt buộc của phần 6. Ngay cả khi đã có kiến thức cơ bản, hãy kiểm tra xem môi trường và phiếu ghi chép mà mỗi phần yêu cầu đã được chuẩn bị đầy đủ hay chưa.

Bạn có thể xem giá hiện tại và điều kiện thực hành của từng khóa học qua liên kết ở trên. Chi phí sử dụng AWS được tính riêng ngoài học phí.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Chuyên viên bảo mật cần lưu lại quy trình tái hiện và bằng chứng chẩn đoán LLM

  • Nhà phát triển muốn kết nối prompt injection và việc kiểm soát ứng dụng bằng mã nguồn cùng khả năng quan sát.

Cần biết trước khi bắt đầu?

  • Hãy chuẩn bị môi trường thực hành của bài 1 và tài liệu mô hình mối đe dọa cho Nhiệm vụ 3 của bài 3. Có các buổi học đọc lệnh gọi mô hình và mã backend, nhưng không có bài tập viết mã riêng. Hãy sử dụng kèm bộ công cụ thực hành hiệu chỉnh và tài liệu bổ sung về phán định bằng chứng.

Xin chào
Đây là rmsxodxod1289

Xác minh sự nghiệp

Tôi là một chuyên viên thực tiễn, bắt đầu từ kiểm thử xâm nhập và xây dựng hệ thống quản lý an toàn thông tin.

Phụ trách đánh giá bảo mật hằng năm cho các nhà sản xuất ô tô hoàn chỉnh và doanh nghiệp năng lượng, bao gồm hạ tầng, web và ứng dụng.

Tôi đã đánh giá theo từng tầng và thực hiện chứng nhận ISMS-P của cùng một khách hàng qua ba lần: lần đầu, lần đánh giá sau chứng nhận và lần gia hạn.

Tôi đã tự mình thực hiện toàn bộ các biện pháp bảo vệ kỹ thuật để ứng phó.

Hiện tại, với tư cách là người phụ trách bảo vệ thông tin duy nhất trong tổ chức, tôi đang chuẩn bị đạt chứng nhận lần đầu, đồng thời triển khai quản trị an ninh AI

Tôi đang thiết kế một hệ thống. Vì đây là lĩnh vực mà các tiêu chuẩn vẫn đang được hình thành, nên bắt đầu từ việc định nghĩa các đối tượng kiểm soát񎟋

Đây là vị trí mà tôi phải trực tiếp xây dựng từ đầu.

Sở hữu các chứng chỉ Kỹ sư Bảo mật Thông tin, CPPG và đánh giá viên ISO/IEC 27001, đồng thời theo học tại Đại học Dongguk về Bảo vệ Thông tin Quốc tế.

Tôi nghiên cứu các con đường rò rỉ trong môi trường AI và đối chiếu các tiêu chuẩn chứng nhận tại Khoa An ninh Trí tuệ nhân tạo của trường cao học.

Kinh nghiệm 5 năm 9 tháng. Tên khách hàng và các lỗ hổng thực tế đã phát hiện thuộc phạm vi bảo mật nên trong các buổi giảng dạy】【。

Không đề cập trong bài giảng vì tên khách hàng và các lỗ hổng thực tế được phát hiện thuộc diện bảo mật.

Thêm

Chương trình giảng dạy

Tất cả

10 bài giảng ∙ (1giờ 29phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của rmsxodxod1289

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

14.520 ₫

70%

995.505 ₫