[PyTorch] Học sâu một cách dễ dàng và nhanh chóng

🙆🏻‍♀ Học dễ dàng và nhanh chóng từ MLP, khuôn khổ cơ bản của học sâu, đến CNN và RNN.🙆🏻‍♂

Tôi đã tổ chức các bài giảng tại Inflearn và xuất bản một cuốn sách có tựa đề 'Python Deep Learning PyTorch'.

Cảm ơn bạn đã quan tâm : )

(Các bài giảng của Inflearn đã được cập nhật tính đến ngày 06/10/2020. Chúng tôi sẽ tiếp tục cập nhật các bài giảng.)

http://m.yes24.com/Goods/Detail/93376077?ozsrank=10

http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product

Học Deep Learning nhanh chóng và dễ dàng với PyTorch

🗒 Cập nhật bài giảng

- Thêm bài giảng cơ bản về PyTorch (khoảng 1 giờ) dành cho những người chưa quen với PyTorch.

- Thêm bài giảng 1 giờ về đánh giá bài viết.

🗒 Giới thiệu khóa học

Hầu hết trí tuệ nhân tạo mà chúng ta nói đến hiện nay đều sử dụng mô hình học sâu. Mạng nơ-ron, nền tảng của học sâu, không phải là thuật toán mới. Đây là một thuật toán đã tồn tại từ lâu nhưng chưa được sử dụng nhiều do bản chất của việc học. Bắt đầu từ mạng nơ-ron cơ bản này, chúng ta sẽ tìm hiểu lý do tại sao học sâu trở nên phổ biến, các đặc điểm của nó là gì và tìm hiểu thêm về mạng nơ-ron tích chập và mạng nơ-ron hồi quy, được gọi là các mô hình học sâu cơ bản.

🌈 Perceptron đa lớp (MLP)

Tìm hiểu về perceptron, được gọi là trí tuệ nhân tạo đầu tiên, những hạn chế của nó và MLP giúp khắc phục nó.

MLP có thể được coi là cấu trúc cơ bản của mạng nơ-ron. Chúng tôi sẽ giải thích thuật toán học của MLP theo từng bước.

Chúng ta sẽ nói về truyền tiến và truyền ngược cũng như ưu và nhược điểm của chúng.

🌈 Định nghĩa của Học sâu

Chúng ta sẽ tìm hiểu sâu hơn về định nghĩa của học sâu và sự khác biệt của nó so với mạng nơ-ron thần kinh nói chung.

Chúng tôi sẽ đề cập đến các hàm kích hoạt, bỏ qua và chuẩn hóa theo lô có thể khắc phục vấn đề biến mất/quá khớp gradient, đây là một nhược điểm của NN.

Chúng ta sẽ thảo luận thêm về Auto-Encoders, không chỉ có khả năng phân loại mà còn có thể tìm hiểu về các tính năng mới.

🌈 Mạng nơ-ron tích chập (CNN)

Nhìn vào lịch sử của học sâu, tôi nghĩ mô hình phát triển nhất là mô hình CNN. Chúng tôi sẽ giới thiệu các mô hình CNN, vốn đã có những tiến bộ vượt bậc kể từ khi bắt đầu được sử dụng trong phân loại hình ảnh. Chúng tôi nói về đặc điểm của thuật toán học và sự khác biệt của chúng so với NN thông thường.

Chúng tôi cũng thảo luận về nhiều kiến ​​trúc khác nhau (Resnet, Densenet), khởi tạo, kỹ thuật tối ưu hóa và học chuyển giao để cải thiện hiệu suất của CNN.

🌈 Mạng nơ-ron hồi quy (RNN)

Chúng ta sẽ tìm hiểu về RNN và LSTM, đây là những mô hình cơ bản của mô hình văn bản (mô hình ngôn ngữ).

🌈 Nhiều lĩnh vực học sâu khác nhau

Chúng ta nói về nhiều lĩnh vực khác nhau sử dụng công nghệ học sâu.

🌈 Tổng quát hóa của Học sâu

Tổng quát hóa là một vấn đề rất lớn trong AI nói chung, bao gồm học sâu và học máy. Đây là một vấn đề khó khăn vẫn chưa có lời giải. Vì vậy, nhiều nghiên cứu đang được tiến hành để giải quyết vấn đề này. Chúng tôi cũng giới thiệu nhiều nghiên cứu khác nhau về khái quát này.

Hiệu suất tổng quát hiện tại đã được tính toán bằng lỗi đào tạo - lỗi ước tính. Điều này là do người ta cho rằng hiệu suất trên dữ liệu đào tạo và hiệu suất trên dữ liệu thử nghiệm càng giống nhau thì càng tốt. Tuy nhiên, một nghiên cứu mới đã phá vỡ quan niệm thông thường này và các tác giả của bài báo khẳng định rằng học sâu không phải là về việc học mà là về 'ghi nhớ'.

• Hiểu được học sâu đòi hỏi phải suy nghĩ lại về khái quát hóa

Một sự thật hiển nhiên là CNN là một mô hình rất hiệu quả để phân loại hình ảnh. Bởi vì Học biểu diễn đồ họa nắm bắt được các đặc điểm của hình ảnh rất tốt. Tuy nhiên, có nghiên cứu cho thấy CNN này học kết cấu của hình ảnh chứ không phải hình dạng. Bài báo này đã được chấp nhận bằng miệng tại ICLR, một hội nghị AI hàng đầu, chỉ với kết quả thử nghiệm, không có một dòng công thức nào. Người ta nói rằng nó có giá trị học thuật rất, rất cao.

• CNNS được đào tạo bởi ImageNET thiên về kết cấu

Chúng tôi giới thiệu một bài báo về sự khác biệt giữa con người và học sâu về mặt khái quát hóa, và cách học sâu có thể khái quát hóa tương tự như con người.

• Tổng quát hóa ở con người và mạng lưới nơ-ron sâu

Cách cơ bản nhất để cải thiện hiệu suất phân loại và tổng quát hóa hình ảnh là tăng cường dữ liệu. Để mở rộng điều này và làm cho việc tăng cường hiệu quả hơn một chút, chúng tôi giới thiệu Cutout và Cutmix. Ngoài ra, chúng tôi giới thiệu khái niệm Chắt lọc kiến ​​thức, đây là khái niệm giáo viên truyền đạt kiến ​​thức cho học sinh.

• Cutout/Cutmix, chưng cất kiến ​​thức

Học hình ảnh "cô gái trẻ" là Con gái có đúng không? Hoặc sẽ tốt hơn nếu đào tạo với Phụ nữ? Sẽ không hiệu quả hơn cho việc khái quát hóa học sâu nếu chúng ta đào tạo với khoảng một nửa là Con gái và một nửa là Phụ nữ sao? Phương pháp này được gọi là Làm mềm nhãn và việc làm mềm nhãn cũng được thực hiện bằng cách sử dụng Chưng cất kiến ​​thức. Chúng tôi giới thiệu một nghiên cứu về chính quy hóa sử dụng các phương pháp này.

• Chuẩn hóa các dự đoán theo từng lớp thông qua chưng cất kiến ​​thức bản thân

🌈 Các bài viết khác đáng đọc đánh giá

Chúng tôi sẽ đánh giá một số bài viết dễ và hay đáng đọc!

Bài đánh giá sẽ được cập nhật liên tục!

Nếu bạn thêm một số nhiễu vào hình ảnh một con voi, thì đối với mắt người, nó sẽ trông giống như một con voi, nhưng học sâu sẽ dự đoán đó là một con Koala. Khi lĩnh vực đánh lừa học sâu thông qua nhiễu xuất hiện, nhiều nghiên cứu liên quan đã xuất hiện. Trong số đó, tôi muốn giới thiệu một nghiên cứu cho thấy rằng chỉ cần thêm một nhiễu có thể khiến học sâu không khớp với hầu hết mọi hình ảnh.

• Sự nhiễu loạn phổ quát

Người ta biết rằng cấu trúc mô hình học sâu nên sử dụng một mô hình đơn giản cho các vấn đề đơn giản và một mô hình phức tạp cho các vấn đề phức tạp. Liên quan đến vấn đề này, có một bài báo nghiên cứu mối quan hệ giữa quy mô mô hình học sâu, số lượng thời gian học và hiện tượng quá khớp.

• Hạ xuống sâu gấp đôi

Trong hình bên dưới, bạn có thể thấy cả bốn bức ảnh đều là ảnh 'chó con'. Nhưng tất cả đều có phong cách khác nhau. Nếu CNN được huấn luyện trên một con chó trong một miền, nó sẽ không thể khớp với một con chó trong miền khác. Điều này là do có giả định rằng dữ liệu đào tạo và dữ liệu thử nghiệm có cùng phân phối. Tổng quát hóa trên nhiều miền được gọi là Tổng quát hóa miền và chúng tôi giới thiệu nghiên cứu về chủ đề này.

• Tổng quát hóa miền với MixStyle

🙋🏻‍♂️ Những câu hỏi dự kiến ​​liên quan đến bài giảng

H. Có cần nhiều kiến ​​thức toán học không?
A. Phần này khá cần thiết cho phần MLP, nhưng bạn vẫn có thể theo dõi toàn bộ bài giảng mà không cần phần này.

H. Tôi có cần biết Python không?
A. Có, lớp học được tiến hành với giả định rằng bạn có một số kiến ​​thức về Python. Tuy nhiên, các kỹ thuật PyTorch dành cho học sâu cũng được trình bày trong khoảng một giờ.

H. Bạn đánh giá những loại bài báo nào?
A. Chúng tôi chủ yếu xem xét các bài báo về học sâu dễ đọc và có đóng góp cao. Chúng tôi sẽ thêm video đánh giá bài viết khi phát hiện ra những bài viết hay mới.

Giới thiệu người chia sẻ kiến ​​thức thực tế

🙆🏻‍♀ Justin

- Chương trình thạc sĩ Kỹ thuật công nghiệp, Đại học Yonsei

- Nghiên cứu khoa học dữ liệu/học sâu

- https://github.com/Justin-A