jaehlee3663

<p style="text-align: left">이해가 약간 안가는 부분이 그부분인데요.. ㅠㅠ<br>데이터를 로드하는 이유가 입력텐서 리스트와 타깃텐서 리스트를 토큰 하나씩 슬라이딩 하여 배치해 다음 단어를 학습할 수 있게 하는 self-supervised 학습이라고 생각하고 있는데요, 첫번째 for 문에서는 타깃 리스트의 첫번째 토큰이 입력 리스트의 두번째 토큰이어서 문제가 없지만 두번째 Loop 부터는 stride=128 면 입력 리스트의 첫번 토큰이 128번째 토큰으로 되는 것인거 같아 그렇습니다. 글로 쓰다 보니 제가 설명을 잘 못드리는거 같아 죄송 합니다. ㅠㅠ</p>

jaehlee3663

Posts