강의

멘토링

커뮤니티

AI Technology

/

Natural Language Processing

Học Transformer thông qua việc triển khai

Từ Multi Head Attention đến mô hình Original Transformer, BERT, mô hình dịch thuật MarianMT dựa trên Encoder-Decoder, cho đến Vision Transformer, bạn sẽ học hiểu sâu sắc về Transformer thông qua việc tự tay triển khai code.

(5.0) 8 đánh giá

204 học viên

  • dooleyz3525
이론 실습 모두
transformer
NLP
바닥부터구현
Deep Learning(DL)
PyTorch
encoder-decoder
bert

Bạn sẽ nhận được điều này sau khi học.

  • Triển khai trực tiếp và nắm vững cơ chế Self, Causal, Cross Attention của Transformer

  • Positional Encoding, Feed Forward, Encoder, Decoder và nhiều thành phần khác được triển khai trực tiếp để học kiến trúc mô hình Original Transformer

  • Tokenization, embedding - nền tảng NLP và các mô hình RNN cùng kiến thức cơ bản cần thiết cho Transformer

  • Triển khai trực tiếp mô hình BERT và áp dụng học tập phân loại câu với BERT đã được triển khai

  • Mô hình MarianMT - mô hình dịch Encoder-Decoder được triển khai trực tiếp

  • Hiểu và Sử dụng Hugging Face Dataset, Tokenizer và DataCollator

  • Huấn luyện mô hình Encoder-Decoder MarianMT và Suy luận Greedy cùng Beam Search

  • Vision Transformer(ViT) tự triển khai và huấn luyện mô hình phân loại hình ảnh với dữ liệu Custom

Chinh phục hoàn toàn Transformer chỉ với một khóa học này!

Với khóa học này, bạn có thể học và trực tiếp triển khai Transformer - cốt lõi của AI hiện đại.

Từ Multi-Head Attention - cơ chế cốt lõi của Transformer, đến mô hình Original Transformer, mô hình BERT, mô hình dịch thuật Encoder-Decoder MarianMT, và Vision Transformer, tôi đã cấu trúc khóa học thành một khóa học toàn diện về Transformer để hiểu thông qua việc triển khai bằng code.

Đặc điểm của khóa học này

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]바닥부터 코드로 구현하며 배우는 Transformer[[/SPAN_2]]

Từ cơ chế cốt lõi của Transformer là Multi Head Attention đến mô hình Original Transformer và BERT, mô hình dịch thuật Encoder-Decoder MarianMT thông qua việc triển khai trực tiếp bằng code bạn sẽ học hiểu sâu sắc về Transformer.

💡 Học tập từng bước từ cơ bản NLP đến mô hình cốt lõi Transformer

Để hiểu Transformer, điều quan trọng là phải hiểu nền tảng NLP trước tiên.

Bắt đầu từ tokenization và embedding, cùng với các mô hình RNN trước Transformer, sau đó tiến tới Attention -> Transformer -> BERT -> mô hình dịch MarianMT -> Vision Transformer theo một dòng chảy để cấu thành khóa học, giúp bạn có thể học từng bước từ nền tảng NLP vững chắc đến các mô hình Transformer cốt lõi.

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]이론과 구현의 균형[[/SPAN_2]]

Không chỉ tập trung vào việc triển khai. Các cơ chế cốt lõi tạo nên Transformer sẽ được hiểu một cách dễ dàng và thấm thía vào đầu, tôi đã dành nhiều thời gian để ấp ủ ý tưởng và tạo ra khóa học này. Từ những giải thích lý thuyết dễ hiểu, chi tiết đến việc triển khai code thực tế, khóa học này sẽ giúp kỹ năng ứng dụng Transformer của bạn tiến bộ vượt bậc.

💡 Trình bày quy trình giải quyết các vấn đề cốt lõi của NLP

Embedding, Padding Masking, các loại Attention khác nhau, tính toán Loss cho Label có áp dụng Padding, Dynamic Padding và nhiều yếu tố khác mà bạn sẽ gặp phải trong nghiên cứu/thực tế, chúng tôi sẽ đề cập cụ thể và trình bày quy trình giải quyết cho bạn.


[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]Hugging Face 주요 라이브러리 활용[[/SPAN_2]]

Hugging Face là thư viện không thể thiếu trong việc sử dụng Transformer. Trong khóa học này, chúng tôi sẽ hướng dẫn chi tiết cách sử dụng Tokenizer, Dataset, DataCollator của Hugging Face để xử lý dữ liệu cho việc huấn luyện mô hình Transformer, bao gồm tiền xử lý dữ liệu, tokenization, dynamic padding, chuyển đổi giá trị Label và giá trị đầu vào Decodermột cách dễ dàng và tiện lợi như thế nào.

Bạn sẽ học những nội dung như thế này

Kiến thức cơ bản về NLP và RNN để chuẩn bị cho Transformer

Tokenization, embedding, RNN và mô hình Seq2Seq cùng với các kiến thức cơ bản về Attention - tôi sẽ tóm tắt và giải thích những kiến thức tiền đề cần thiết để học Transformer.

Cơ chế cốt lõi và các mô-đun chính của Transformer

Bạn có thể hiểu rõ ràng các cơ chế Attention cốt lõi như Self Attention, Causal Attention, Cross Attention và các module cốt lõi của Transformer như Positional Encoding, Layer Normalization, Feed Forward, Encoder/Decoder Layer thông qua lý thuyết chi tiết và thực hành.

Sử dụng Hugging Face Tokenizer, Dataset, DataCollator

Tôi sẽ giải thích chi tiết về các đặc điểm, ưu điểm và cách sử dụng Dataset, Tokenizer, DataCollator của Hugging Face. Và thông qua việc kết hợp chúng lại, bạn có thể nắm vững cách thực hiện hiệu quả các tác vụ xử lý pipeline dữ liệu cho mô hình Transformer NLP thông qua nhiều bài thực hành và ví dụ đa dạng.

Triển khai và ứng dụng mô hình BERT

Học BERT bằng cách trực tiếp triển khai các thành phần chính của mô hình BERT. Không chỉ vậy, bạn còn có thể học cách áp dụng việc huấn luyện mô hình và Inference cho phân loại câu bằng cách sử dụng BERT đã triển khai như vậy cùng với các tính năng đa dạng mà Hugging Face cung cấp.

Triển khai và ứng dụng mô hình dịch thuật MarianMT dựa trên Encoder-Decoder

Bạn sẽ trực tiếp triển khai mô hình MarianMT - một mô hình dịch thuật Hàn-Anh dựa trên kiến trúc Encoder-Decoder, học các phương pháp và kỹ thuật tiền xử lý dữ liệu đa dạng cần thiết khi huấn luyện mô hình Encoder-Decoder, đồng thời học cách triển khai và áp dụng Greedy Search và Beam Search dựa trên Auto Regressive.

Triển khai và huấn luyện mô hình Vision Transformer

Trong lĩnh vực Vision, chúng ta sẽ trực tiếp triển khai Vision Transformer - mô hình đã giúp Transformer trở thành một mô hình sánh ngang với CNN, và huấn luyện nó bằng cách sử dụng bộ dữ liệu tùy chỉnh. Bằng cách trực tiếp triển khai các module chính của Vision Transformer, bạn có thể dễ dàng hiểu và học được các đặc điểm cũng như cơ chế của ViT.

Những lưu ý trước khi học

Môi trường thực hành 💾

Môi trường thực hành được thực hiện bằng notebook kernel do Kaggle cung cấp. Sau khi đăng ký Kaggle và chọn menu Code, bạn có thể sử dụng miễn phí GPU P100 trong 30 giờ mỗi tuần trong môi trường Jupyter Notebook tương tự như Colab.


Giáo trình bài giảng dày 160 trang sẽ được cung cấp kèm theo.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Người mới bắt đầu học deep learning NLP muốn xây dựng nền tảng vững chắc bằng cách tự tay triển khai code từ tokenization đến RNN, Transformer

  • Những người muốn hiểu sâu về cấu trúc Transformer bằng cách tự tay triển khai các cơ chế bên trong thay vì chỉ đơn giản sử dụng thư viện Transformer

  • Những người muốn hiểu các cơ chế cốt lõi của Transformer một cách dễ dàng hơn thông qua phương pháp cân bằng giữa lý thuyết và thực hành

  • Nhà phát triển muốn rèn luyện chắc chắn khả năng cơ bản về Attention hoặc Transformer khi phát triển dịch vụ AI

  • Dành cho những ai muốn có trải nghiệm dự án thực tế End-to-End hoàn chỉnh từ cơ bản về Transformer đến phân loại văn bản, mô hình dịch thuật

Cần biết trước khi bắt đầu?

  • Hướng dẫn hoàn hảo về CNN Deep Learning - Phiên bản Pytorch

Xin chào
Đây là

26,975

Học viên

1,376

Đánh giá

4,011

Trả lời

4.9

Xếp hạng

14

Các khóa học

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

Chương trình giảng dạy

Tất cả

145 bài giảng ∙ (28giờ 9phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

8 đánh giá

5.0

8 đánh giá

  • pdy님의 프로필 이미지
    pdy

    Đánh giá 27

    Đánh giá trung bình 5.0

    5

    30% đã tham gia

    • kimjusung2109님의 프로필 이미지
      kimjusung2109

      Đánh giá 1

      Đánh giá trung bình 5.0

      5

      97% đã tham gia

      • aboutexo04님의 프로필 이미지
        aboutexo04

        Đánh giá 15

        Đánh giá trung bình 4.9

        5

        60% đã tham gia

        • Minsoo Kim님의 프로필 이미지
          Minsoo Kim

          Đánh giá 1

          Đánh giá trung bình 5.0

          5

          30% đã tham gia

          이해하기 쉽게 잘 설명해 주십니다.

          • 권 철민
            Giảng viên

            시간 내셔서 좋은 수강평 이렇게 적어 주셔서 감사합니다.

        • 강호철님의 프로필 이미지
          강호철

          Đánh giá 8

          Đánh giá trung bình 5.0

          5

          30% đã tham gia

          • 권 철민
            Giảng viên

            좋은 수강평 감사드립니다.

        1.612.758 ₫

        Khóa học khác của dooleyz3525

        Hãy khám phá các khóa học khác của giảng viên!

        Khóa học tương tự

        Khám phá các khóa học khác trong cùng lĩnh vực!