Học Transformer qua việc triển khai

Bạn sẽ được tìm hiểu tường tận về Transformer thông qua việc trực tiếp triển khai bằng mã nguồn từ Multi Head Attention, mô hình Transformer nguyên bản, BERT, mô hình dịch thuật MarianMT dựa trên Encoder-Decoder cho đến Vision Transformer.

(5.0) 24 đánh giá

340 học viên

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer
Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer

Đánh giá từ những học viên đầu tiên

5.0

5.0

김재준

100% đã tham gia

Tôi đã liều mình học khóa này mà không học các khóa tiên quyết trước. Lúc đầu tôi thấy rất khó khăn và vất vả, nhưng càng nghe càng thấy thú vị, và giờ tôi sẽ đi học các khóa tiên quyết đây.

5.0

승훈

60% đã tham gia

Nhờ phần giải thích lý thuyết và mã nguồn mà tôi đang hiểu rất chi tiết về Transformer.

5.0

jsmak

100% đã tham gia

Tôi đã nghe qua nhiều bài giảng trực tuyến về Transformer nhưng đây là bài giảng chi tiết nhất. Cảm ơn bạn vì đã luôn giải thích cực kỳ kỹ lưỡng.

Bạn sẽ nhận được điều này sau khi học.

  • Nắm vững cơ chế Self, Causal và Cross Attention của Transformer thông qua việc tự triển khai trực tiếp

  • Kiến trúc mô hình Transformer nguyên bản được học thông qua việc trực tiếp triển khai Positional Encoding, Feed Forward, Encoder, Decoder, v.v.

  • Kiến thức nền tảng cho Transformer như tokenization, embedding trong NLP và các mô hình RNN.

  • Tự triển khai mô hình BERT và áp dụng huấn luyện phân loại câu bằng BERT đã triển khai.

  • Mô hình MarianMT, mô hình dịch thuật Encoder-Decoder tự triển khai.

  • Hiểu và sử dụng Hugging Face Dataset, Tokenizer và DataCollator

  • Huấn luyện mô hình Encoder-Decoder MarianMT và Suy luận Greedy và Beam Search

  • Tự triển khai Vision Transformer(ViT) và huấn luyện mô hình phân loại hình ảnh với dữ liệu tùy chỉnh.

Chinh phục hoàn toàn Transformer chỉ với một khóa học này!

Thông qua khóa học này, bạn có thể học về Transformer, cốt lõi của AI hiện đại, bằng cách trực tiếp triển khai.

Khóa học được thiết kế như một lộ trình trọn gói (full course) về Transformer để bạn thấu hiểu thông qua việc triển khai bằng mã nguồn, từ cơ chế cốt lõi Multi-Head Attention cho đến mô hình Transformer nguyên bản, mô hình BERT, mô hình dịch thuật Encoder-Decoder MarianMT và Vision Transformer.

Đặc điểm của khóa học này

💡 Học Transformer bằng cách triển khai code từ đầu

Từ Multi Head Attention - cơ chế cốt lõi của Transformer, cho đến mô hình Original Transformer, BERT và mô hình dịch thuật Encoder-Decoder MarianMT, bằng cách trực tiếp triển khai bằng mã nguồn, bạn sẽ được tìm hiểu tường tận về Transformer.

💡 Học tập từng bước từ nền tảng NLP đến các mô hình Transformer cốt lõi

Để hiểu Transformer, việc hiểu nền tảng NLP trước tiên là rất quan trọng.

Bắt đầu từ Tokenization và Embedding, cùng các mô hình RNN trước Transformer cho đến Attention -> Transformer -> BERT -> mô hình dịch thuật MarianMT -> Vision Transformer, theo một mạch thống nhất, bài giảng được xây dựng để bạn có thể học tập từng bước từ nền tảng NLP vững chắc cho đến các mô hình Transformer cốt lõi.

💡 Sự cân bằng giữa lý thuyết và triển khai

Chúng tôi không chỉ tập trung vào việc triển khai. Để các cơ chế cốt lõi cấu thành Transformer có thể được hiểu một cách dễ dàng và khắc sâu vào tâm trí, chúng tôi đã dành rất nhiều thời gian để lên ý tưởng và xây dựng bài giảng. Từ những lời giải thích lý thuyết chi tiết, dễ hiểu cho đến việc triển khai mã nguồn thực tế, khóa học này sẽ giúp kỹ năng ứng dụng Transformer của bạn tiến bộ vượt bậc.  

💡 Đưa ra quy trình giải quyết các vấn đề cốt lõi trong NLP

Chúng tôi sẽ đi sâu vào các yếu tố thực tế gặp phải trong nghiên cứu và công việc như Embedding, padding masking, các loại Attention đa dạng, tính toán Loss cho Label có áp dụng padding, padding động (Dynamic padding), và đưa ra quy trình giải quyết cho chúng.


💡 Sử dụng các thư viện chính của Hugging Face

Hugging Face là thư viện không thể thiếu trong việc sử dụng Transformer. Trong khóa học này, chúng tôi sẽ hướng dẫn chi tiết cách sử dụng Tokenizer, Dataset, DataCollator của Hugging Face để thực hiện các bước gia công dữ liệu phục vụ huấn luyện mô hình Transformer như tiền xử lý dữ liệu, tokenization, dynamic padding, chuyển đổi giá trị Label và giá trị đầu vào Decoder một cách dễ dàng và thuận tiện như thế nào.

Bạn sẽ học những nội dung này

Nền tảng NLP và RNN cho kiến thức nền tảng về Transformer

Chúng tôi sẽ tóm tắt và giải thích các kiến thức nền tảng để học Transformer như Tokenization, Embedding, mô hình RNN và Seq2Seq, cũng như các kiến thức cơ bản về Attention.

Cơ chế cốt lõi và các mô-đun chính của Transformer

Thông qua lý thuyết chi tiết và thực hành, bạn có thể hiểu rõ các cơ chế Attention cốt lõi như Self Attention, Causal Attention, Cross Attention cũng như các module quan trọng của Transformer như Positional Encoding, Layer Normalization, Feed Forward, Encoder/Decoder Layer.

Sử dụng Hugging Face Tokenizer, Dataset, DataCollator

Chúng tôi sẽ giải thích chi tiết các đặc điểm, ưu điểm và cách sử dụng Dataset, Tokenizer, DataCollator của Hugging Face. Và thông qua các bài thực hành và ví dụ đa dạng, bạn có thể nắm vững cách kết hợp chúng để thực hiện quy trình xử lý pipeline dữ liệu cho mô hình Transformer NLP một cách hiệu quả.

Triển khai và ứng dụng mô hình BERT

Bạn sẽ được tìm hiểu về BERT thông qua việc trực tiếp triển khai các thành phần chính của mô hình BERT. Ngoài ra, bạn còn có thể học cách áp dụng huấn luyện mô hình và Inference để phân loại câu bằng cách sử dụng BERT đã triển khai cùng với các tính năng đa dạng do Hugging Face cung cấp.

Triển khai và ứng dụng mô hình dịch MarianMT dựa trên Encoder-Decoder

Bạn sẽ được trực tiếp triển khai mô hình MarianMT, một mô hình dịch thuật Hàn-Anh dựa trên Encoder-Decoder, đồng thời học các phương pháp và kỹ thuật tiền xử lý dữ liệu đa dạng cần thiết khi huấn luyện mô hình Encoder-Decoder, cũng như cách triển khai và áp dụng Greedy Search và Beam Search dựa trên Auto Regressive.

Triển khai và huấn luyện mô hình Vision Transformer

Bạn sẽ trực tiếp triển khai Vision Transformer, mô hình đã đưa Transformer trở thành một đối thủ xứng tầm với CNN trong lĩnh vực Vision, và thực hành huấn luyện bằng bộ dữ liệu tùy chỉnh. Thông qua việc trực tiếp triển khai các mô-đun chính của Vision Transformer, bạn có thể dễ dàng hiểu rõ và học hỏi về các đặc điểm cũng như cơ chế của ViT.

Lưu ý trước khi học

Môi trường thực hành 💾

Môi trường thực hành được thực hiện bằng notebook kernel do Kaggle cung cấp. Sau khi đăng ký Kaggle, nếu bạn chọn menu Code, bạn có thể sử dụng miễn phí GPU P100 trong 30 giờ mỗi tuần trên nền tảng môi trường Jupyter Notebook tương tự như Colab.


Giáo trình bài giảng dài 160 trang được cung cấp kèm theo.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Người mới bắt đầu học NLP Deep Learning muốn xây dựng nền tảng vững chắc bằng cách tự tay lập trình từ Tokenization đến RNN và Transformer.

  • Những ai muốn hiểu sâu về cấu trúc Transformer bằng cách trực tiếp triển khai các cơ chế bên trong thay vì chỉ đơn thuần sử dụng thư viện Transformer.

  • Những người muốn hiểu rõ hơn về cơ chế cốt lõi của Transformer một cách dễ dàng thông qua sự cân bằng giữa lý thuyết và thực hành.

  • Nhà phát triển muốn xây dựng nền tảng vững chắc về Attention và Transformer khi phát triển các dịch vụ AI.

  • Dành cho những ai muốn trải nghiệm dự án thực tế End-to-End hoàn thiện, từ cơ bản về Transformer đến các mô hình phân loại văn bản và dịch thuật.

Cần biết trước khi bắt đầu?

  • Hướng dẫn toàn tập về Deep Learning CNN - Phiên bản Pytorch

Xin chào
Đây là dooleyz3525

Xác minh Inflearn

28,408

Học viên

1,566

Đánh giá

4,083

Trả lời

4.9

Xếp hạng

15

Các khóa học

(Cựu) Encore Consulting | (Cựu) Oracle Korea | Tác giả cuốn sách "Python Machine Learning Guide"

Tư vấn viên AI tự do

 

Thêm

Chương trình giảng dạy

Tất cả

145 bài giảng ∙ (28giờ 9phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

24 đánh giá

5.0

24 đánh giá

  • vjeong71170433님의 프로필 이미지
    vjeong71170433

    Đánh giá 14

    Đánh giá trung bình 3.9

    5

    26% đã tham gia

    Tôi đã nghe nhiều khóa học về Transformer khác nhau, nhưng thực sự khóa học này là tuyệt vời nhất. Khác với việc chỉ review paper, giải thích trực quan của gi강사được thấm nhuần vào code và PPT. Khi xem cùng với code, tôi hiểu rõ ràng từng phần. Sau này tôi sẽ tin tưởng đăng ký các khóa học khác của giảng viên. Đây thực sự là một khóa học huyền thoại đáng được tôn vinh.

    • dooleyz3525
      Giảng viên

      Ồ, lòng tôi thật ấm áp. Hôm nay chắc sẽ là một ngày thật hạnh phúc. Cảm ơn bạn đã viết đánh giá tuyệt vời như vậy.

  • muscelelg님의 프로필 이미지
    muscelelg

    Đánh giá 8

    Đánh giá trung bình 5.0

    5

    100% đã tham gia

    Tôi đã liều mình học khóa này mà không học các khóa tiên quyết trước. Lúc đầu tôi thấy rất khó khăn và vất vả, nhưng càng nghe càng thấy thú vị, và giờ tôi sẽ đi học các khóa tiên quyết đây.

    • jcy40236396님의 프로필 이미지
      jcy40236396

      Đánh giá 6

      Đánh giá trung bình 5.0

      5

      100% đã tham gia

      Cảm ơn anh/chị vì những bài giảng tuyệt vời!

      • dooleyz3525
        Giảng viên

        Không có chi ạ ^^, ngược lại tôi mới là người phải cảm ơn bạn vì đã viết những lời đánh giá khóa học rất tốt.

    • jsmak6174님의 프로필 이미지
      jsmak6174

      Đánh giá 8

      Đánh giá trung bình 5.0

      5

      100% đã tham gia

      Tôi đã nghe qua nhiều bài giảng trực tuyến về Transformer nhưng đây là bài giảng chi tiết nhất. Cảm ơn bạn vì đã luôn giải thích cực kỳ kỹ lưỡng.

      • dooleyz3525
        Giảng viên

        Ồ, cảm ơn bạn rất nhiều vì bài đánh giá khóa học tốt. Vì Transformer có thể gây khó khăn cho những người mới tiếp cận lần đầu, nên có lẽ phần giải thích hơi bị quá đà một chút. Tôi sẽ tham khảo ý kiến này khi xây dựng bài giảng tiếp theo.

    • seunghun32461674님의 프로필 이미지
      seunghun32461674

      Đánh giá 2

      Đánh giá trung bình 5.0

      5

      60% đã tham gia

      Nhờ phần giải thích lý thuyết và mã nguồn mà tôi đang hiểu rất chi tiết về Transformer.

      • dooleyz3525
        Giảng viên

        Tôi cũng rất vui vì đã giúp ích được cho bạn. Cảm ơn bạn rất nhiều vì những đánh giá khóa học tích cực nhé.

    Khóa học khác của dooleyz3525

    Hãy khám phá các khóa học khác của giảng viên!

    Khóa học tương tự

    Khám phá các khóa học khác trong cùng lĩnh vực!