Thực tiễn bảo mật tác nhân AI: từ tiêm nhiễm prompt đến lạm dụng quyền hạn

Thực hành bảo mật tác nhân AI: Từ prompt injection đến lạm dụng quyền hạn là khóa học đề cập đến các mối đe dọa bảo mật chính có thể phát sinh trong quá trình triển khai và vận hành tác nhân AI, cùng các phương pháp ứng phó. Bạn sẽ tìm hiểu một cách có hệ thống về các vấn đề bảo mật có thể xảy ra với tác nhân AI, như prompt injection, rò rỉ thông tin nhạy cảm, thao túng lệnh gọi công cụ và cấp quyền quá mức. Đồng thời, khóa học cũng cung cấp các phương án ứng phó thực tiễn có thể áp dụng trong công việc, như nguyên tắc đặc quyền tối thiểu, xác thực đầu vào và đầu ra, phê duyệt thực thi, giám sát nhật ký, v.v. Qua đó, bạn có thể trang bị năng lực bảo mật để lập kế hoạch, xây dựng và vận hành tác nhân AI một cách an toàn hơn.

1 học viên đang tham gia khóa học này

Độ khó Cơ bản

Thời gian 12 tháng

Service Planning
Service Planning
security
security
AI
AI
LLM
LLM
AI Agent
AI Agent
Service Planning
Service Planning
security
security
AI
AI
LLM
LLM
AI Agent
AI Agent

Bạn sẽ nhận được điều này sau khi học.

  • Tìm hiểu về các mối đe dọa bảo mật đối với tác nhân AI

  • Nắm vững phương pháp kiểm soát bảo mật trong thực tiễn

  • Đảm bảo năng lực vận hành tác nhân an toàn

Vượt ra ngoài AI tạo sinh, các mối đe dọa bảo mật và chiến lược ứng phó dành cho AI agent có khả năng tự mình hành động

Tại sao AI agent lại nguy hiểm? Từ các kịch bản tấn công đến thiết kế bảo mật


Bạn có thể học được gì qua khóa học?


1. Cấu trúc của AI Agent và những rủi ro bảo mật mới

Hiểu được AI agent khác với AI tạo sinh thông thường ở điểm nào.

Chúng ta sẽ tìm hiểu các bề mặt tấn công được tạo ra khi LLM, bộ nhớ, plugin, API, công cụ bên ngoài, cơ sở dữ liệu và các thành phần khác được kết nối với nhau.

2. Tấn công chèn prompt

Hiểu từ Direct Prompt Injection khi người dùng trực tiếp nhập lệnh độc hại đến Indirect Prompt Injection thao túng AI thông qua các lệnh ẩn trong tài liệu bên ngoài, trang web, email, v.v.

3. Vấn đề lạm dụng quyền hạn và quyền hạn quá mức

Phân tích các rủi ro có thể xảy ra khi AI agent được cấp quyền gửi email, xóa file, truy cập cơ sở dữ liệu, thay đổi hệ thống, v.v.

Đặc biệt, bạn sẽ hiểu tại sao nguyên tắc đặc quyền tối thiểu (Least Privilege) lại quan trọng trong môi trường AI agent.

4. Gọi công cụ và bảo mật API

Xem xét các vấn đề bảo mật có thể phát sinh trong quá trình tác nhân AI gọi API và công cụ bên ngoài.

Hiểu các kịch bản tấn công thực tế như lựa chọn công cụ sai, thực thi lệnh nguy hiểm và lạm dụng quyền API.

5. Thông tin nhạy cảm và rò rỉ dữ liệu

Xem xét các rủi ro rò rỉ dữ liệu có thể xảy ra khi tác nhân AI truy cập vào tài liệu nội bộ, thông tin khách hàng, thông tin cá nhân, thông tin xác thực, v.v.

Chúng ta cũng sẽ học các phương pháp kiểm soát truy cập cần thiết trong môi trường tích hợp RAG và dữ liệu bên ngoài.

6. Tấn công bộ nhớ của AI Agent

Hiểu về Memory Poisoning, ô nhiễm thông tin và khả năng tấn công liên tục có thể xảy ra trong quá trình AI agent ghi nhớ các cuộc hội thoại hoặc thông tin công việc trước đó.

7. Bảo mật trong môi trường Multi-Agent

Xem xét vấn đề lỗi hoặc cuộc tấn công từ một tác nhân trong môi trường Multi-Agent, nơi nhiều tác nhân AI hợp tác với nhau, có thể lan truyền sang các tác nhân khác.

8. Thiết kế bảo mật AI Agent

Học các nguyên tắc cốt lõi để vận hành AI agent một cách an toàn.

Quyền tối thiểu, Human-in-the-Loop, xác thực đầu vào·đầu ra, giới hạn công cụ, quy trình phê duyệt, giám sát, quản lý log - thiết kế cấu trúc bảo mật thực tế thông qua các yếu tố này..


Công nghệ này được sử dụng trong những lĩnh vực nào?

Bảo mật AI agent không phải là công nghệ chỉ cần thiết cho một ngành cụ thể nào đó.

AI agent đang trở nên quan trọng trong mọi lĩnh vực mà nó kết nối với hệ thống vận hành thực tế.


Tự động hóa công việc doanh nghiệp

AI agent được sử dụng khi tự động hóa các công việc như soạn email, quản lý lịch trình, xử lý tài liệu, tạo báo cáo, tra cứu dữ liệu.

Vì AI có quyền truy cập vào hệ thống doanh nghiệp nên quyền hạn của người dùng và việc kiểm soát quyền truy cập dữ liệu rất quan trọng.

Tài chính · bảo hiểm

Ngân hàng, thẻ tín dụng, bảo hiểm, công ty chứng khoán có thể sử dụng AI agent trong tư vấn khách hàng, phân tích thông tin đầu tư, phát hiện giao dịch bất thường, tự động hóa công việc nội bộ, v.v.

Vì xử lý thông tin tài chính và dữ liệu cá nhân, cần có cơ chế kiểm soát truy cập và chức năng kiểm toán mạnh mẽ.

Sản xuất·Nhà máy thông minh

Có thể tự động hóa phân tích dữ liệu sản xuất, phát hiện bất thường thiết bị, chỉ thị công việc và công tác bảo trì bằng cách sử dụng AI agent.

Trong tương lai, khi AI được kết nối với các hệ thống OT và điều khiển công nghiệp, tầm quan trọng của bảo mật tác nhân AI có thể càng trở nên lớn hơn.

Đám mây·DevOps

Các tác nhân AI có thể thực hiện các công việc như quản lý tài nguyên đám mây, viết mã, triển khai và ứng phó với sự cố.

Tuy nhiên, việc quản lý quyền hạn rất quan trọng, vì nếu được cấp quyền quá mức, những phán đoán sai lầm của AI có thể dẫn đến các thay đổi thực tế trong hệ thống.

Phát triển phần mềm

Các tác nhân AI lập trình đang được sử dụng để viết mã, kiểm thử, đánh giá mã, tự động hóa triển khai, v.v.

Cũng cần xem xét các rủi ro như tạo mã độc, truy cập kho lưu trữ và làm lộ thông tin bí mật.

Giám sát bảo mật · An ninh mạng

Có thể sử dụng tác nhân AI để tự động hóa các công việc như phân tích nhật ký, phát hiện mối đe dọa, phân tích sự kiện bảo mật và ứng phó sự cố.

Ngược lại, kẻ tấn công cũng có thể nhắm mục tiêu vào các tác nhân AI, vì vậy cần có một hệ thống bảo mật mới.

Khuyến nghị dành cho những người sau đây

  • Những người quan tâm đến bảo mật AI tạo sinh và tác nhân AI

  • Nhân viên phụ trách an toàn thông tin và kỹ sư bảo mật

  • Lập trình viên phát triển các dịch vụ AI·LLM

  • Các đại diện doanh nghiệp muốn xây dựng hệ thống tác nhân AI

  • Kỹ sư đám mây·DevOps

  • Kiến trúc sư bảo mật và chuyên gia tư vấn

  • Nhà hoạch định đang thúc đẩy tự động hóa công việc dựa trên AI

  • Những người muốn hiểu về các mối đe dọa an ninh mạng mới trong kỷ nguyên AI tạo sinh



Bạn sẽ học những nội dung này

Bảo mật AI Agent (AI Agent Security)

Có thể hiểu là “bảo mật để quản lý an toàn AI có khả năng tự đưa ra phán đoán và hành động”..

Tấn công chèn prompt (Prompt Injection)

“cuộc tấn công chèn chỉ dẫn độc hại ẩn vào AI để thay đổi phán đoán và hành động của AI”.

Lưu ý trước khi tham gia khóa học

Môi trường thực hành

  • Hệ điều hành và phiên bản (OS): Các loại và phiên bản hệ điều hành như Windows, macOS, Linux, Ubuntu, Android, iOS v.v.

  • Công cụ sử dụng: phiên bản và gói tính phí của phần mềm/phần cứng cần thiết cho thực hành, việc có sử dụng máy ảo hay không, v.v.

  • Cấu hình PC: CPU, bộ nhớ, ổ đĩa, card đồ họa và các yêu cầu khuyến nghị để chạy chương trình, v.v.

Tài liệu học tập

  • Định dạng tài liệu học tập cung cấp (PPT, link cloud, văn bản, mã nguồn, asset, chương trình, bài tập mẫu, v.v.)

  • Khối lượng và dung lượng, đặc điểm và lưu ý khác về tài liệu học tập, v.v.

Kiến thức tiên quyết và lưu ý

  • Kiến thức nền tảng bắt buộc cần có, xét theo độ khó của việc học

  • Chất lượng video bài giảng (chất lượng âm thanh/hình ảnh) và các nội dung liên quan trực tiếp đến việc học, cũng như phương pháp học được khuyến nghị

  • Nội dung liên quan đến câu hỏi/trả lời và các cập nhật sau này

  • Thông báo liên quan đến bản quyền bài giảng và tài liệu học tập

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Dành cho những ai quan tâm đến tác nhân AI và bảo mật AI tạo sinh

  • Nhân viên phụ trách an toàn thông tin và kỹ sư bảo mật

  • Nhà phát triển dịch vụ AI·LLM

  • Người phụ trách triển khai và hoạch định AI của doanh nghiệp

  • Phụ trách Cloud, DevOps và vận hành hệ thống

Cần biết trước khi bắt đầu?

  • Mối quan tâm và hiểu biết cơ bản về tác nhân AI

  • Các khái niệm cơ bản về prompt và AI tạo sinh

  • Kiến thức cơ bản về an toàn thông tin

Xin chào
Đây là 88888

479

Học viên

93

Đánh giá

4.5

Xếp hạng

31

Các khóa học

Xin chào.

Tôi là Thám tử Byte.

Cho đến nay, tôi đã có hơn 24 năm kinh nghiệm làm việc trong lĩnh vực chiến lược IT và bảo mật thông tin thuộc ngành AI và IT. Hiện tại, tôi đang thực hiện các công việc như sản xuất và phát triển nội dung e-learning cần thiết trong kỷ nguyên AI, hoạt động với tư cách là giảng viên bên ngoài (tại Multicampus, v.v.), và tư vấn liên quan đến AI và IT cho các doanh nghiệp vừa và nhỏ.

Dựa trên những bí quyết làm việc thực tế này, tôi sẽ mang đến cho các bạn những bài giảng dễ hiểu, thú vị và gọn gàng. Hãy nâng cấp kiến thức và kỹ năng của bản thân thông qua những bài giảng thực sự hữu ích cho công việc thực tế này nhé.

Kênh YouTube: https://www.youtube.com/@신동주-s1b

Thêm

Chương trình giảng dạy

Tất cả

20 bài giảng ∙ (4giờ 46phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của 88888

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

46.200 ₫

40%

1.584.797 ₫