Cuộc chinh phục hoàn chỉnh của Unity Machine Learning Agent (Cơ bản)

Triển khai môi trường học tăng cường,
Dễ dàng và tiện lợi với Unity!

môi trường học tăng cường ,
Tôi nên chuẩn bị như thế nào?

Kể từ màn trình diễn đột phá của AlphaGo vào năm 2016, sự quan tâm đến học tăng cường , được biết đến là đã được áp dụng cho AlphaGo, đã tăng lên đáng kể, và sự nhiệt tình vẫn còn rất lớn. Các thành phần chính của học tăng cường là thuật toán học tăng cường và môi trường học tăng cường, như được hiển thị bên dưới. Hai thành phần này trao đổi thông tin, bao gồm hành động, trạng thái và phần thưởng, cho phép thuật toán học tăng cường học tập.

Kể từ AlphaGo, các thuật toán học tăng cường đã có những tiến bộ đáng kể. Để đáp ứng nhu cầu đó, nhiều môi trường học tăng cường đã được phát hành, bao gồm OpenAI GYM, Mujoco, Atari, GTA5 và Malmo. Hầu hết các môi trường này đều dựa trên trò chơi. Mặc dù học tăng cường rõ ràng là một thuật toán lý tưởng cho trò chơi, nhưng gần đây đã có sự gia tăng đột biến trong các nỗ lực áp dụng nó ngoài trò chơi vào nhiều lĩnh vực khác nhau, bao gồm đề xuất, robot, máy bay không người lái, năng lượng và tài chính.

Tuy nhiên, môi trường học tăng cường cho các lĩnh vực đa dạng này vẫn còn thiếu. Đặc biệt, rất khó để mong đợi một môi trường đáp ứng chính xác các yêu cầu cụ thể của nhà phát triển được phát hành. Ngay cả khi bạn có một môi trường robot với cấu hình cảm biến và cấu trúc khớp cụ thể mà bạn muốn áp dụng học tăng cường, việc bắt đầu nghiên cứu mà không có môi trường học tăng cường công khai cho lĩnh vực đó có thể là bất khả thi.

Nếu bạn sử dụng một môi trường đã được tạo ra,
Có những nhược điểm sau:

Về môi trường
Sujeong
khó khăn

Đối với mỗi môi trường
Cách sử dụng
sự khác biệt

cần thiết
Môi trường
Có thể không có bất kỳ

Nhưng vào tháng 9 năm 2017, Unity, một trong những công ty phát triển game lớn nhất thế giới, đã phát hành một công cụ có tên là Unity Machine-Learning Agent có thể giải quyết vấn đề này.

Với Unity ML-Agents
Triển khai môi trường học tăng cường!

Trong bài giảng này, bạn sẽ tìm hiểu cách triển khai nhiều môi trường học tăng cường khác nhau bằng Unity Machine Learning Agent, cũng như lý thuyết và cách triển khai mã của các thuật toán học tăng cường áp dụng cho các môi trường đó.

Thông tin trước khi tham gia lớp học!

Nội dung của khóa học này giống hệt với cuốn sách "Học tăng cường với PyTorch và Unity ML-Agents". Vui lòng lưu ý điều này trước khi tham dự.

Làm chủ các tác nhân học máy Unity - Cơ bản

Toàn bộ khóa học "Nắm vững hoàn toàn các Agent Học máy của Unity" sẽ được chia thành hai phần: Cơ bản và Ứng dụng. Bài giảng này sẽ đề cập đến phần Cơ bản. Nội dung cụ thể được trình bày trong phần Cơ bản như sau:

• Cơ bản và lý thuyết về học tăng cường
• Cài đặt Unity và sử dụng cơ bản
• Cài đặt Unity Machine Learning Agents, Mô tả thành phần và Cách sử dụng (mlagents-learn, Python API)
• Tạo môi trường
  • GridWorld, Drone, KartRacing
• Học lý thuyết thuật toán học tăng cường và triển khai mã
  • DQN, A2C, DDPG, Nhân bản hành vi

Mã cho môi trường chúng ta sẽ tạo và các thuật toán chúng ta sẽ học trong bài giảng này đều có trên GitHub .
Những hình ảnh bên dưới là môi trường học tăng cường mà bạn sẽ triển khai trong bài giảng này và kết quả học tập bằng thuật toán học tăng cường mà bạn sẽ triển khai.

_{Tạo môi trường Gridworld}

_{Tạo môi trường máy bay không người lái}

_{Tạo môi trường đua xe kart}

Những câu hỏi thường gặp
Hãy xem thử nhé.