강의

멘토링

로드맵

NEW
AI Development

/

Natural Language Processing

Học Transformer thông qua việc triển khai

Từ Multi Head Attention đến mô hình Original Transformer, BERT, mô hình dịch MarianMT dựa trên Encoder-Decoder, bạn sẽ học hiểu sâu sắc về Transformer thông qua việc trực tiếp triển khai bằng code.

55 học viên đang tham gia khóa học này

  • dooleyz3525
이론 실습 모두
transformer
NLP
바닥부터구현
Deep Learning(DL)
PyTorch
encoder-decoder
bert

Dịch cái này sang tiếng Việt

  • Triển khai trực tiếp và nắm vững cơ chế Self, Causal, Cross Attention của Transformer

  • Positional Encoding, Feed Forward, Encoder, Decoder và nhiều thành phần khác được triển khai trực tiếp để học kiến trúc mô hình Original Transformer

  • Tokenization, embedding - nền tảng NLP và các mô hình RNN cùng kiến thức cơ bản cần thiết cho Transformer

  • Triển khai trực tiếp mô hình BERT và áp dụng học tập phân loại câu với BERT đã được triển khai

  • Mô hình MarianMT - mô hình dịch Encoder-Decoder được triển khai trực tiếp

  • Hiểu và Sử dụng Hugging Face Dataset, Tokenizer và DataCollator

  • Huấn luyện mô hình Encoder-Decoder MarianMT và Suy luận Greedy cùng Beam Search

Chinh phục hoàn toàn Transformer chỉ với một khóa học này!

Với khóa học này, bạn có thể học và trực tiếp triển khai Transformer - cốt lõi của AI hiện đại.

Tôi đã cấu trúc khóa học thành một khóa học toàn diện về Transformer, từ Multi-Head Attention - cơ chế cốt lõi của Transformer, đến mô hình Original Transformer, mô hình BERT, và mô hình dịch thuật Encoder-Decoder MarianMT, tất cả được hiểu thông qua việc triển khai bằng code.

Đặc điểm của khóa học này

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]바닥부터 코드로 구현하며 배우는 Transformer[[/SPAN_2]]

Từ cơ chế cốt lõi của Transformer là Multi Head Attention đến mô hình Original Transformer và BERT, mô hình dịch thuật Encoder-Decoder MarianMT bạn sẽ triển khai trực tiếp bằng code và học sâu về Transformer một cách chi tiết.

💡 Học tập từng bước từ cơ bản NLP đến mô hình cốt lõi Transformer

Để hiểu Transformer thì việc hiểu nền tảng NLP trước tiên là rất quan trọng.

Bắt đầu từ tokenization và embedding, cùng với các mô hình RNN trước Transformer, sau đó đi qua Attention -> Transformer -> BERT -> mô hình dịch MarianMT theo một dòng chảy để cấu thành khóa học, giúp bạn có thể học từng bước từ nền tảng NLP vững chắc đến các mô hình Transformer cốt lõi.

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]이론과 구현의 균형[[/SPAN_2]]

Không chỉ tập trung vào việc triển khai. Các cơ chế cốt lõi tạo nên Transformer sẽ được hiểu một cách dễ dàng và thấm thía vào đầu, tôi đã dành rất nhiều thời gian để lên ý tưởng và tạo ra khóa học này. Từ những giải thích lý thuyết dễ hiểu và chi tiết đến việc triển khai code thực tế, khóa học này sẽ giúp kỹ năng ứng dụng Transformer của bạn tiến bộ vượt bậc.

💡 Trình bày quy trình giải quyết các vấn đề cốt lõi của NLP

Embedding, Padding Masking, các loại Attention khác nhau, tính toán Loss cho Label có áp dụng Padding, Dynamic Padding và các yếu tố khác mà bạn thường gặp trong nghiên cứu/thực tế, chúng tôi sẽ đề cập cụ thể và trình bày quá trình giải quyết cho bạn.


💡 Sử dụng các thư viện chính của Hugging Face

Hugging Face là thư viện không thể thiếu trong việc sử dụng Transformer. Trong khóa học này, chúng tôi sẽ hướng dẫn chi tiết cách sử dụng Tokenizer, Dataset, DataCollator của Hugging Face để xử lý dữ liệu cho việc huấn luyện mô hình Transformer, bao gồm tiền xử lý dữ liệu, tokenization, dynamic padding, chuyển đổi giá trị Label và giá trị đầu vào Decoder cho các bộ dữ liệu lớn một cáchdễ dàng và tiện lợinhư thế nào.

Phần Vision Transformer(ViT) sẽ được thêm vào khóa học này

Khóa học này sẽ có thêm bài gi강 về ViT(Vision Transformer) vào cuối tháng 11 năm 2025. Sau khi bài giảng về ViT được thêm vào, giá của khóa học này sẽ được tăng nhẹ.

Chúng ta sẽ học những nội dung như thế này

Kiến thức cơ bản về NLP và RNN để chuẩn bị cho Transformer

Tokenization, embedding, RNN và mô hình Seq2Seq cùng với các kiến thức cơ bản về Attention - những kiến thức tiên quyết cần thiết để hiểu Transformer sẽ được tóm tắt và giải thích.

Cơ chế cốt lõi và các mô-đun chính của Transformer

Bạn có thể hiểu rõ ràng các cơ chế Attention cốt lõi như Self Attention, Causal Attention, Cross Attention và các module cốt lõi của Transformer như Positional Encoding, Layer Normalization, Feed Forward, Encoder/Decoder Layer thông qua lý thuyết chi tiết và thực hành.

Sử dụng Hugging Face Tokenizer, Dataset, DataCollator

Tôi sẽ giải thích chi tiết về các đặc điểm, ưu điểm và cách sử dụng Dataset, Tokenizer, DataCollator của Hugging Face. Và bạn có thể nắm vững cách kết hợp chúng để thực hiện hiệu quả các tác vụ xử lý pipeline dữ liệu cho mô hình Transformer NLP thông qua nhiều bài thực hành và ví dụ đa dạng.

Triển khai và ứng dụng mô hình BERT

Học BERT thông qua việc trực tiếp triển khai các thành phần chính của mô hình BERT. Không chỉ vậy, bạn còn có thể học cách áp dụng việc huấn luyện mô hình và Inference cho phân loại câu bằng cách sử dụng BERT đã triển khai như vậy cùng với các tính năng đa dạng mà Hugging Face cung cấp.

Triển khai và ứng dụng mô hình dịch thuật MarianMT dựa trên Encoder-Decoder

Bạn sẽ trực tiếp triển khai mô hình MarianMT - một mô hình dịch thuật Hàn-Anh dựa trên kiến trúc Encoder-Decoder, học các phương pháp và kỹ thuật tiền xử lý dữ liệu đa dạng cần thiết khi huấn luyện mô hình Encoder-Decoder, đồng thời học cách triển khai và áp dụng Greedy Search và Beam Search dựa trên Auto Regressive.

Những điều cần lưu ý trước khi học

Môi trường thực hành 💾

Môi trường thực hành được thực hiện bằng notebook kernel do Kaggle cung cấp. Sau khi đăng ký Kaggle và chọn menu Code, bạn có thể sử dụng miễn phí GPU P100 trong 30 giờ mỗi tuần trong môi trường Jupyter Notebook tương tự như Colab.


Giáo trình bài giảng dày 140 trang sẽ được cung cấp kèm theo.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Người mới bắt đầu học deep learning NLP muốn xây dựng nền tảng vững chắc bằng cách tự tay triển khai code từ tokenization đến RNN, Transformer

  • Những người muốn hiểu sâu về cấu trúc Transformer bằng cách tự tay triển khai các cơ chế bên trong thay vì chỉ đơn giản sử dụng thư viện Transformer

  • Những người muốn hiểu các cơ chế cốt lõi của Transformer một cách dễ dàng hơn thông qua phương pháp cân bằng giữa lý thuyết và thực hành

  • Nhà phát triển muốn rèn luyện chắc chắn khả năng cơ bản về Attention hoặc Transformer khi phát triển dịch vụ AI

  • Dành cho những ai muốn có trải nghiệm dự án thực tế End-to-End hoàn chỉnh từ cơ bản về Transformer đến phân loại văn bản, mô hình dịch thuật

Cần biết trước khi bắt đầu?

  • Hướng dẫn hoàn hảo về CNN Deep Learning - Phiên bản Pytorch

Xin chào
Đây là

26,397

Học viên

1,323

Đánh giá

3,984

Trả lời

4.9

Xếp hạng

14

Các khóa học

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

Chương trình giảng dạy

Tất cả

124 bài giảng ∙ (24giờ 21phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Ưu đãi có thời hạn

50.050 ₫

35%

1.611.656 ₫

Khóa học khác của dooleyz3525

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!