Cộng đồng Hỏi & Đáp của Inflearn

안녕하세요~. 반갑습니다.

말씀해주신대로 n-gram 처리를 위해서 pad_both_ends 함수에 n 인자값을 사용하게 됩니다.

예를 들어서 설명하면 n=3으로 설정하면 <s>, <s> 이렇게 2개가 앞에 붙어서 ['a','b','c'] 이런 텍스트가 있을때 이를 trigram으로 처리하고자 할경우

['<s>','<s>','a'],['<s>','a','b'],...

이런식으로 trigram이 묶이게 됩니다.

이때 만약에 trigram인데 n=2로 설정하면 <s> 이렇게 1개가 앞에 붙어서

['<s>','a','b'], ['a','b','c'],...

이런식으로 처리되어서 'a'만 단독으로 묶인 trigram을 만들지 못하게되기 때문에 맨앞에 있는 토큰과 맨 뒤에 있는 토큰이 단독으로 묶인 상황을 만들어주기 위해서 ngram에 맞게 n 인자값을 조정해서 사용하는 것입니다.

좋은 하루되세요.
감사합니다.

저도 이부분 궁금합니다!