inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실무 중심의 딥러닝 NLP 심화: LLM 아키텍처와 파인튜닝 실전

Encoder-Decoder Model 설명 - part1

seq2seq 모델

328

동휘김

작성한 질문수 30

0

seq2seq 모델에 기반으로encoder-decoder, teacherforce 모델이 생긴것인가요?아니면 3개다 각각의 모델인가요?

딥러닝 tensorflow NLP

답변 1

0

YoungJea Oh

Seq2Seq (sequence-to-sequence) 모델은 인코더-디코더 구조를 기반으로 한다고 볼 수 있습니다. 인코더는 입력 데이터를 고정된 길이의 벡터로 변환하고, 디코더는 이 벡터를 바탕으로 최종 출력 시퀀스를 생성합니다.

Teacher Forcing은 디코더의 학습 방법 입니다. 디코더가 시퀀스를 생성할 때, 이전 시간 스텝의 실제 출력(대상 시퀀스)을 다음 입력으로 사용하는 방식입니다.

결론적으로, Seq2Seq 모델과 인코더-디코더 구조는 서로 밀접하게 연결되어 있으며, Teacher Forcing은 디코더를 학습시키는 한 방법으로 사용됩니다. 따라서 이들은 각각 독립적인 모델이 아니라, 서로 연결되어 있는 개념들이라고 볼 수 있습니다.

좋은 질문 감사합니다.

트랜스포머 FeedForward 관련 질문

0

73

2

파라미터갯수에대한질문(030_IMDB_movie_reviews)

0

62

1

Transformer 번역기 분석 - Part1 따라치기 질문

0

72

2

Encoder-Decoder 질문 드립니다.

0

74

2

model 코드 부분을 따라하다가 전 값이 이상해서요

0

83

1

서적 추천

0

77

1

NLP와 LLM의 차이점

0

559

2

encoder-decoder model 질문입니다.

1

74

1

구글번역기에 대해서 궁금한점이 있습니다.

0

124

2

로드맵에대해서...

0

121

2

Bag of Word (BOW)와TF-IDF시 대명사인 I의행방

0

97

2

강의 교재 최신화 요청

0

145

4

self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.

0

190

3

코랩 환경 설정할 때 질문이 있습니다.

0

248

1

transformer 훈련 마친 모델 공유 가능할까요?

0

217

2

130_Transformer.ipynb transformer.summary() 에러

0

185

2

강사님 궁금한게 있어 문의 드립니다.

0

129

1

강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.

0

126

1

패딩과 관련한 질문 드립니다.

0

172

1

Encoder Decoder 부터 Simple Chatbot까지 이상답변

0

219

1

강의 내용중 질문있습니다.

0

199

1

Transformer 번역기 부분에 대해 질문 있습니다.

0

214

1

320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.

0

317

2

201_classify_text_with_bert_tfhub_Kor.ipynb 오류

0

345

2