pad_both_ends 사용할 때 n은 왜 사용하나요?
217
작성한 질문수 22
제목 그대로 pad_both_ends 사용할 때 n은 왜 사용하나요?
그냥 앞뒤로 붙여주면 될 것 같은데, 3을 넣으니 두개씩 붙던데 n값을 설정하는 이유가 있나요?
ngram의 n과 관련이 있나요?
답변 2
2
안녕하세요~. 반갑습니다.
말씀해주신대로 n-gram 처리를 위해서 pad_both_ends 함수에 n 인자값을 사용하게 됩니다.
예를 들어서 설명하면 n=3으로 설정하면 <s>, <s> 이렇게 2개가 앞에 붙어서 ['a','b','c'] 이런 텍스트가 있을때 이를 trigram으로 처리하고자 할경우
['<s>','<s>','a'],['<s>','a','b'],...
이런식으로 trigram이 묶이게 됩니다.
이때 만약에 trigram인데 n=2로 설정하면 <s> 이렇게 1개가 앞에 붙어서
['<s>','a','b'], ['a','b','c'],...
이런식으로 처리되어서 'a'만 단독으로 묶인 trigram을 만들지 못하게되기 때문에 맨앞에 있는 토큰과 맨 뒤에 있는 토큰이 단독으로 묶인 상황을 만들어주기 위해서 ngram에 맞게 n 인자값을 조정해서 사용하는 것입니다.
좋은 하루되세요.
감사합니다.
[긴급요청2] 28강 동영상 오류(27강 음성 재생) 수정 예정일자를 알려주세요
0
10
1
[긴급요청] 28강 동영상 전체에 오디오가 잘못들어가있습니다.
0
25
1
가중치에 대한 질문
0
121
1
transformer 기계번역 강의 오류 질문
0
165
2
seq2seq를_이용한_NMT.ipynb 실습코드 에러 문의사항입니다.
0
265
2
실습 2 - Char-RNN 코드 학습 부분에서 오류가 발생합니다.
0
292
2
트레이닝 에러 발생
0
348
2
트랜스포머 인코더 레이어 테스트 에러
0
223
1
9강 BERT 실습 예제 코드
0
469
1
Bert 관련 문의
0
342
2
코랩에서 실행이 안됩니다
0
1137
1
bert를 이용해서 ocr 시스템을 만들려면 어떻게 해야 할까요 ?
0
801
1
소스코드 실행 시 에러
0
574
2
N-gram_example
1
818
1
BERT를 이용한 텍스트 분류에서 다중분류라면 어떻게 해야할까요?
1
1537
1
개인 깃허브 소스코드 업로드 가능할까요?
0
336
1
#@title Choose a BERT model to fine-tune
0
371
1
nltk모듈 MLE의 score메서드 계산 질문드립니다.
0
205
0
bert 파인튜닝 코드 질문
0
403
0
네이버 영화리뷰 파인튜닝 질문드려요
0
314
1
코드 실행 오류
0
321
1
bert를 이용한 텍스트 분류 imdb 편 질문드립니다.
0
363
1
안녕하세요. 강의 잘듣고있습니다!
0
284
1
강의 자료는 어디있나요(자연어 처리)
0
339
1