강의

멘토링

커뮤니티

BEST
AI Technology

/

Natural Language Processing

Học Transformer thông qua việc triển khai

Từ Multi Head Attention đến mô hình Original Transformer, BERT, mô hình dịch thuật MarianMT dựa trên Encoder-Decoder, cho đến Vision Transformer, bạn sẽ học hiểu sâu sắc về Transformer thông qua việc tự tay triển khai code.

(5.0) 13 đánh giá

256 học viên

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

  • dooleyz3525
Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer
Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer

Đánh giá từ những học viên đầu tiên

Đánh giá từ những học viên đầu tiên

5.0

5.0

jcy4023

100% đã tham gia

Cảm ơn anh/chị vì những bài giảng tuyệt vời!

5.0

HeeSeok Jeong

26% đã tham gia

Tôi đã nghe nhiều khóa học về Transformer khác nhau, nhưng thực sự khóa học này là tuyệt vời nhất. Khác với việc chỉ review paper, giải thích trực quan của gi강사được thấm nhuần vào code và PPT. Khi xem cùng với code, tôi hiểu rõ ràng từng phần. Sau này tôi sẽ tin tưởng đăng ký các khóa học khác của giảng viên. Đây thực sự là một khóa học huyền thoại đáng được tôn vinh.

5.0

Minsoo Kim

30% đã tham gia

Anh/chị giải thích rất dễ hiểu và hay.

Bạn sẽ nhận được điều này sau khi học.

  • Triển khai trực tiếp và nắm vững cơ chế Self, Causal, Cross Attention của Transformer

  • Positional Encoding, Feed Forward, Encoder, Decoder và nhiều thành phần khác được triển khai trực tiếp để học kiến trúc mô hình Original Transformer

  • Tokenization, embedding - nền tảng NLP và các mô hình RNN cùng kiến thức cơ bản cần thiết cho Transformer

  • Triển khai trực tiếp mô hình BERT và áp dụng học tập phân loại câu với BERT đã được triển khai

  • Mô hình MarianMT - mô hình dịch Encoder-Decoder được triển khai trực tiếp

  • Hiểu và Sử dụng Hugging Face Dataset, Tokenizer và DataCollator

  • Huấn luyện mô hình Encoder-Decoder MarianMT và Suy luận Greedy cùng Beam Search

  • Vision Transformer(ViT) tự triển khai và huấn luyện mô hình phân loại hình ảnh với dữ liệu Custom

Chinh phục hoàn toàn Transformer chỉ với một khóa học này!

Với khóa học này, bạn có thể học và trực tiếp triển khai Transformer - cốt lõi của AI hiện đại.

Từ Multi-Head Attention - cơ chế cốt lõi của Transformer, đến mô hình Original Transformer, mô hình BERT, mô hình dịch thuật Encoder-Decoder MarianMT, và Vision Transformer, tôi đã cấu trúc khóa học thành một khóa học toàn diện về Transformer để hiểu thông qua việc triển khai bằng code.

Đặc điểm của khóa học này

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]바닥부터 코드로 구현하며 배우는 Transformer[[/SPAN_2]]

Từ cơ chế cốt lõi của Transformer là Multi Head Attention đến mô hình Original Transformer và BERT, mô hình dịch thuật Encoder-Decoder MarianMT thông qua việc triển khai trực tiếp bằng code bạn sẽ học hiểu sâu sắc về Transformer.

💡 Học tập từng bước từ cơ bản NLP đến mô hình cốt lõi Transformer

Để hiểu Transformer, điều quan trọng là phải hiểu nền tảng NLP trước tiên.

Bắt đầu từ tokenization và embedding, cùng với các mô hình RNN trước Transformer, sau đó tiến tới Attention -> Transformer -> BERT -> mô hình dịch MarianMT -> Vision Transformer theo một dòng chảy để cấu thành khóa học, giúp bạn có thể học từng bước từ nền tảng NLP vững chắc đến các mô hình Transformer cốt lõi.

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]이론과 구현의 균형[[/SPAN_2]]

Không chỉ tập trung vào việc triển khai. Các cơ chế cốt lõi tạo nên Transformer sẽ được hiểu một cách dễ dàng và thấm thía vào đầu, tôi đã dành nhiều thời gian để ấp ủ ý tưởng và tạo ra khóa học này. Từ những giải thích lý thuyết dễ hiểu, chi tiết đến việc triển khai code thực tế, khóa học này sẽ giúp kỹ năng ứng dụng Transformer của bạn tiến bộ vượt bậc.

💡 Trình bày quy trình giải quyết các vấn đề cốt lõi của NLP

Embedding, Padding Masking, các loại Attention khác nhau, tính toán Loss cho Label có áp dụng Padding, Dynamic Padding và nhiều yếu tố khác mà bạn sẽ gặp phải trong nghiên cứu/thực tế, chúng tôi sẽ đề cập cụ thể và trình bày quy trình giải quyết cho bạn.


[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]Hugging Face 주요 라이브러리 활용[[/SPAN_2]]

Hugging Face là thư viện không thể thiếu trong việc sử dụng Transformer. Trong khóa học này, chúng tôi sẽ hướng dẫn chi tiết cách sử dụng Tokenizer, Dataset, DataCollator của Hugging Face để xử lý dữ liệu cho việc huấn luyện mô hình Transformer, bao gồm tiền xử lý dữ liệu, tokenization, dynamic padding, chuyển đổi giá trị Label và giá trị đầu vào Decodermột cách dễ dàng và tiện lợi như thế nào.

Bạn sẽ học những nội dung như thế này

Kiến thức cơ bản về NLP và RNN để chuẩn bị cho Transformer

Tokenization, embedding, RNN và mô hình Seq2Seq cùng với các kiến thức cơ bản về Attention - tôi sẽ tóm tắt và giải thích những kiến thức tiền đề cần thiết để học Transformer.

Cơ chế cốt lõi và các mô-đun chính của Transformer

Bạn có thể hiểu rõ ràng các cơ chế Attention cốt lõi như Self Attention, Causal Attention, Cross Attention và các module cốt lõi của Transformer như Positional Encoding, Layer Normalization, Feed Forward, Encoder/Decoder Layer thông qua lý thuyết chi tiết và thực hành.

Sử dụng Hugging Face Tokenizer, Dataset, DataCollator

Tôi sẽ giải thích chi tiết về các đặc điểm, ưu điểm và cách sử dụng Dataset, Tokenizer, DataCollator của Hugging Face. Và thông qua việc kết hợp chúng lại, bạn có thể nắm vững cách thực hiện hiệu quả các tác vụ xử lý pipeline dữ liệu cho mô hình Transformer NLP thông qua nhiều bài thực hành và ví dụ đa dạng.

Triển khai và ứng dụng mô hình BERT

Học BERT bằng cách trực tiếp triển khai các thành phần chính của mô hình BERT. Không chỉ vậy, bạn còn có thể học cách áp dụng việc huấn luyện mô hình và Inference cho phân loại câu bằng cách sử dụng BERT đã triển khai như vậy cùng với các tính năng đa dạng mà Hugging Face cung cấp.

Triển khai và ứng dụng mô hình dịch thuật MarianMT dựa trên Encoder-Decoder

Bạn sẽ trực tiếp triển khai mô hình MarianMT - một mô hình dịch thuật Hàn-Anh dựa trên kiến trúc Encoder-Decoder, học các phương pháp và kỹ thuật tiền xử lý dữ liệu đa dạng cần thiết khi huấn luyện mô hình Encoder-Decoder, đồng thời học cách triển khai và áp dụng Greedy Search và Beam Search dựa trên Auto Regressive.

Triển khai và huấn luyện mô hình Vision Transformer

Trong lĩnh vực Vision, chúng ta sẽ trực tiếp triển khai Vision Transformer - mô hình đã giúp Transformer trở thành một mô hình sánh ngang với CNN, và huấn luyện nó bằng cách sử dụng bộ dữ liệu tùy chỉnh. Bằng cách trực tiếp triển khai các module chính của Vision Transformer, bạn có thể dễ dàng hiểu và học được các đặc điểm cũng như cơ chế của ViT.

Những lưu ý trước khi học

Môi trường thực hành 💾

Môi trường thực hành được thực hiện bằng notebook kernel do Kaggle cung cấp. Sau khi đăng ký Kaggle và chọn menu Code, bạn có thể sử dụng miễn phí GPU P100 trong 30 giờ mỗi tuần trong môi trường Jupyter Notebook tương tự như Colab.


Giáo trình bài giảng dày 160 trang sẽ được cung cấp kèm theo.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Người mới bắt đầu học deep learning NLP muốn xây dựng nền tảng vững chắc bằng cách tự tay triển khai code từ tokenization đến RNN, Transformer

  • Những người muốn hiểu sâu về cấu trúc Transformer bằng cách tự tay triển khai các cơ chế bên trong thay vì chỉ đơn giản sử dụng thư viện Transformer

  • Những người muốn hiểu các cơ chế cốt lõi của Transformer một cách dễ dàng hơn thông qua phương pháp cân bằng giữa lý thuyết và thực hành

  • Nhà phát triển muốn rèn luyện chắc chắn khả năng cơ bản về Attention hoặc Transformer khi phát triển dịch vụ AI

  • Dành cho những ai muốn có trải nghiệm dự án thực tế End-to-End hoàn chỉnh từ cơ bản về Transformer đến phân loại văn bản, mô hình dịch thuật

Cần biết trước khi bắt đầu?

  • Hướng dẫn hoàn hảo về CNN Deep Learning - Phiên bản Pytorch

Xin chào
Đây là

27,391

Học viên

1,442

Đánh giá

4,045

Trả lời

4.9

Xếp hạng

14

Các khóa học

(Cựu) Tư vấn viên tại Encore Consulting

(Cựu nhân viên) Oracle Korea

Tư vấn viên AI tự do

Tác giả cuốn sách "Cẩm nang học máy Python toàn tập"

Chương trình giảng dạy

Tất cả

145 bài giảng ∙ (28giờ 9phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

13 đánh giá

5.0

13 đánh giá

  • motovlim님의 프로필 이미지
    motovlim

    Đánh giá 3

    Đánh giá trung bình 5.0

    5

    30% đã tham gia

    • jcy40236396님의 프로필 이미지
      jcy40236396

      Đánh giá 5

      Đánh giá trung bình 5.0

      5

      100% đã tham gia

      Cảm ơn anh/chị vì những bài giảng tuyệt vời!

      • ev0wnerhan8124님의 프로필 이미지
        ev0wnerhan8124

        Đánh giá 2

        Đánh giá trung bình 5.0

        5

        72% đã tham gia

        • dooleyz3525
          Giảng viên

          Cảm ơn bạn vì đánh giá khóa học quý báu

      • vjeong71170433님의 프로필 이미지
        vjeong71170433

        Đánh giá 14

        Đánh giá trung bình 3.9

        5

        26% đã tham gia

        Tôi đã nghe nhiều khóa học về Transformer khác nhau, nhưng thực sự khóa học này là tuyệt vời nhất. Khác với việc chỉ review paper, giải thích trực quan của gi강사được thấm nhuần vào code và PPT. Khi xem cùng với code, tôi hiểu rõ ràng từng phần. Sau này tôi sẽ tin tưởng đăng ký các khóa học khác của giảng viên. Đây thực sự là một khóa học huyền thoại đáng được tôn vinh.

        • dooleyz3525
          Giảng viên

          Ồ, lòng tôi thật ấm áp. Hôm nay chắc sẽ là một ngày thật hạnh phúc. Cảm ơn bạn đã viết đánh giá tuyệt vời như vậy.

      • ghdtjdwo54376님의 프로필 이미지
        ghdtjdwo54376

        Đánh giá 5

        Đánh giá trung bình 5.0

        5

        30% đã tham gia

        • dooleyz3525
          Giảng viên

          Cảm ơn bạn rất nhiều vì đánh giá tích cực.

      1.587.061 ₫

      Khóa học khác của dooleyz3525

      Hãy khám phá các khóa học khác của giảng viên!

      Khóa học tương tự

      Khám phá các khóa học khác trong cùng lĩnh vực!