패딩과 관련한 질문 드립니다.
171
70 asked
교사학습용 데이터와 target 데이터 모두 post 패딩을 하였는데
교사학습용 데이터는 <sos> 가 중요하고 target 데이터는
<eos> 가 중요하기 때문에 교사학습용은 post, target 데이터는 pre 를 해야 하는거 아닌지요?
만약 post 패딩을 하게 되면 길이가 초과하는 교사학습용 데이터는 <sos>가 잘려지지 않을까 생각합니다.
강사님 부탁드리겠습니다.
Answer 1
0
교사학습(Teacher Forcing)에서는 이전 시간 단계의 출력이 현재 시간 단계의 입력으로 사용됩니다. 여기서 중요한 것은 시퀀스의 시작을 알리는 <sos> 토큰입니다. 따라서 post padding을 사용하면 <sos> 토큰이 시퀀스의 앞에 오게 되어, 시퀀스의 시작을 명확하게 정의할 수 있습니다. 만약 데이터가 너무 길어져 잘린다면, 일반적으로 잘리는 부분은 시퀀스의 끝 부분입니다. 이 경우, 중요한 <sos> 토큰이 잘릴 가능성은 낮습니다.
target 데이터의 경우, 모델이 예측해야 하는 시퀀스의 마지막 부분에 <eos> 토큰이 존재합니다. post padding을 사용하면 이 <eos> 이후에 추가된 패딩 토큰은 모델이 예측할 때 무시됩니다.
예를 들어 드리면,
교사학습용 입력 데이터:
<sos> I am learning NLP타겟 데이터:
I am learning NLP <eos>
Post-패딩 (교사학습용 입력 데이터):
예를 들어, 최대 시퀀스 길이가 7이라고 가정하면,
["<sos>", "I", "am", "learning", "NLP", "<pad>", "<pad>"]
Post-패딩 (타겟 데이터):
동일한 최대 시퀀스 길이 7을 기준으로,
["I", "am", "learning", "NLP", "<eos>", "<pad>", "<pad>"]
따라서, 걱정하시듯이 동일한 길이의 sequence를 구성할 때 target의 <eos>가 잘릴 경우는 없습니다.
좋은 질문 감사합니다.
트랜스포머 FeedForward 관련 질문
0
69
2
파라미터갯수에대한질문(030_IMDB_movie_reviews)
0
60
1
Transformer 번역기 분석 - Part1 따라치기 질문
0
69
2
Encoder-Decoder 질문 드립니다.
0
71
2
model 코드 부분을 따라하다가 전 값이 이상해서요
0
83
1
서적 추천
0
75
1
NLP와 LLM의 차이점
0
550
2
encoder-decoder model 질문입니다.
1
73
1
구글번역기에 대해서 궁금한점이 있습니다.
0
122
2
로드맵에대해서...
0
120
2
Bag of Word (BOW)와TF-IDF시 대명사인 I의행방
0
94
2
강의 교재 최신화 요청
0
142
4
self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.
0
189
3
코랩 환경 설정할 때 질문이 있습니다.
0
248
1
transformer 훈련 마친 모델 공유 가능할까요?
0
216
2
130_Transformer.ipynb transformer.summary() 에러
0
182
2
강사님 궁금한게 있어 문의 드립니다.
0
128
1
강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.
0
124
1
Encoder Decoder 부터 Simple Chatbot까지 이상답변
0
218
1
seq2seq 모델
0
323
1
강의 내용중 질문있습니다.
0
197
1
Transformer 번역기 부분에 대해 질문 있습니다.
0
212
1
320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.
0
314
2
201_classify_text_with_bert_tfhub_Kor.ipynb 오류
0
342
2