pad_both_ends 사용할 때 n은 왜 사용하나요?
267
작성한 질문수 22
제목 그대로 pad_both_ends 사용할 때 n은 왜 사용하나요?
그냥 앞뒤로 붙여주면 될 것 같은데, 3을 넣으니 두개씩 붙던데 n값을 설정하는 이유가 있나요?
ngram의 n과 관련이 있나요?
답변 2
2
안녕하세요~. 반갑습니다.
말씀해주신대로 n-gram 처리를 위해서 pad_both_ends 함수에 n 인자값을 사용하게 됩니다.
예를 들어서 설명하면 n=3으로 설정하면 <s>, <s> 이렇게 2개가 앞에 붙어서 ['a','b','c'] 이런 텍스트가 있을때 이를 trigram으로 처리하고자 할경우
['<s>','<s>','a'],['<s>','a','b'],...
이런식으로 trigram이 묶이게 됩니다.
이때 만약에 trigram인데 n=2로 설정하면 <s> 이렇게 1개가 앞에 붙어서
['<s>','a','b'], ['a','b','c'],...
이런식으로 처리되어서 'a'만 단독으로 묶인 trigram을 만들지 못하게되기 때문에 맨앞에 있는 토큰과 맨 뒤에 있는 토큰이 단독으로 묶인 상황을 만들어주기 위해서 ngram에 맞게 n 인자값을 조정해서 사용하는 것입니다.
좋은 하루되세요.
감사합니다.
19강 감정분석 강의처럼 api 돌렸는데
1
49
1
완독 챌린지 도서 인정 방법에 대한 문의
0
58
2
가중치에 대한 질문
0
143
1
transformer 기계번역 강의 오류 질문
0
210
2
seq2seq를_이용한_NMT.ipynb 실습코드 에러 문의사항입니다.
0
312
2
실습 2 - Char-RNN 코드 학습 부분에서 오류가 발생합니다.
0
327
2
트레이닝 에러 발생
0
387
2
트랜스포머 인코더 레이어 테스트 에러
0
249
1
9강 BERT 실습 예제 코드
0
500
1
Bert 관련 문의
0
375
2
코랩에서 실행이 안됩니다
0
1169
1
bert를 이용해서 ocr 시스템을 만들려면 어떻게 해야 할까요 ?
0
829
1
소스코드 실행 시 에러
0
611
2
N-gram_example
1
841
1
BERT를 이용한 텍스트 분류에서 다중분류라면 어떻게 해야할까요?
1
1577
1
개인 깃허브 소스코드 업로드 가능할까요?
0
366
1
#@title Choose a BERT model to fine-tune
0
401
1
nltk모듈 MLE의 score메서드 계산 질문드립니다.
0
230
0
bert 파인튜닝 코드 질문
0
426
0
네이버 영화리뷰 파인튜닝 질문드려요
0
344
1
코드 실행 오류
0
349
1
bert를 이용한 텍스트 분류 imdb 편 질문드립니다.
0
381
1
안녕하세요. 강의 잘듣고있습니다!
0
307
1
강의 자료는 어디있나요(자연어 처리)
0
363
1