구현하며 배우는 Transformer
Multi Head Attention 부터 Original Transformer 모델, BERT, Encoder-Decoder 기반의 MarianMT 번역 모델, Vision Transformer 까지 코드로 직접 구현하며 Transformer에 대해 속속들이 배우게 됩니다.
- 미해결
Embedding 모델 fine tuning 관련 질문
강사님 안녕하세요? 10년전 쯤 파이썬 머신러닝 완벽가이드, CNN 완벽가이드를 수강하고 많은 도움을 받았는데, Transformer 강의를 내셨길래 반가운 마음으로 바로 구매했습니다 ㅎㅎ
딥러닝pytorchencoder-decoderberttransformer아쿠아라이드
・
22일 전
0
54
2
- 미해결
코드에 오타가 있는 것 같습니다
안녕하세요, 강사님 강의 열심히 잘 듣고 있습니다.visionTransformer생성 부분에서,제가 잘못
딥러닝pytorchencoder-decoderberttransformerlovewrite030110
・
한 달 전
0
42
2
- 미해결
코드 오타가 있는것 같습니다.
torch.manual_seed(123) HIDDEN_SIZE = 256 NUM_HEADS = 4 DEC_Q_SEQ_LEN = 10 ENC_K_SEQ_LEN = 20 BATCH_SIZE = 2 dec_t
딥러닝pytorchencoder-decoderberttransformerjsmak
・
한 달 전
0
56
2
- 미해결
트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서
안녕하세요.. 다시 또 궁금한 것이 생겼습니다.트랜스포머의 각 인코더 블럭의 출력이 디코더 블럭의 Encode-Decoder Attention 으로 들어가게 되는
딥러닝pytorchencoder-decoderberttransformer산마로
・
2달 전
0
54
2
- 미해결
트랜스포머 구조에서 블럭갯수에 대해서
안녕하세요.. 트랜스포머 구조에서 Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 하는 것인가요? 아니면 Encoder -Decoder A
딥러닝pytorchencoder-decoderberttransformer산마로
・
2달 전
0
45
2
- 미해결
RNN에서 출력 y에대해서..
안녕하세요.. RNN모델 설명에서, 궁금한 것이 있습니다. y_i = h_i 가 되는 것인가요?
딥러닝pytorchencoder-decoderberttransformer산마로
・
2달 전
0
44
1
- 미해결
embedding 값 시각화 해보기에서
안녕하세요..16강 임베딩 값 시각화 해보기에서 궁금한 것이 있습니다.버트 토크나이저와 모델을 다운로드 받을 때 다음과 같은 오류가 났는데..202
딥러닝pytorchencoder-decoderberttransformer산마로
・
2달 전
0
39
1
- 해결
length_penalty 부분이 없는 것 같습니다.
130강 끝날 즈음에 다음 섹션이 아니라 length_penalty에 대한 설명을 해주신다고 하셨는데 없는 것 같습니다!
딥러닝pytorchencoder-decoderberttransformerjcy4023
・
2달 전
1
41
1
- 미해결
멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문
후반부 슬라이드 그림에 Wq, Wk, Wv 하나로 계산이 되어 헤드별로 나누어진다는 표현같이 보이는데, 오해의 소지가 있는것 같습니다. 만약 Wq, Wk, Wv가 멀티 헤드의 각각의 Wq, Wk, Wv가 concat된
딥러닝pytorchencoder-decoderberttransformerHYUN TAEK CHOI
・
3달 전
0
63
3
- 미해결
MLM, NSP 구현 여부
안녕하세요 강사님.BERT 학습 파트와 관련하여 궁금한 점이 있어 질문드립니다. 현
딥러닝pytorchencoder-decoderberttransformer임해빈
・
4달 전
0
59
2
- 미해결
bert encoding input_ids.size(1)에 대하여
안녕하세요 강사님.BERT 관련 강의를 매우 유익하게 듣고 있습니다. Embeddi
딥러닝pytorchencoder-decoderberttransformer임해빈
・
4달 전
0
50
2
- 미해결
트랜스포머 학습 강의
안녕하세요, 강사님.강의 잘 듣고 있습니다. 한 가지 궁금한 점이 있는데요, 트랜스
딥러닝pytorchencoder-decoderberttransformer임해빈
・
4달 전
0
81
2
- 미해결
Q, K, V 초기 임베딩
안녕하십니까, 강사님.트랜스포머에 대한 세심하고 깊이 있는 강의를 준비해주셔서 감사합니다. 강의 정말 유익하게 잘 듣고 있습니다. S
딥러닝pytorchencoder-decoderberttransformer임해빈
・
4달 전
0
60
1






