슬라이딩 윈도우를 위해 for Loop 만들시 stride 관련 질문
Chapter2에서 슬라이딩 윈도우 만들때 stride를 128로 했는데요, 타깃은 인풋 마지막 토큰의 다음번째 토큰을 예측 하기 위해 for문을 돌면서 첫번째 타깃은 2번째 토큰, 다음은 3번째 토큰.. 이런식으로 되는걸로 아는데 갑자기 128로 건너 뛰는 이유는 무엇인지요?
Answer 2
0
이해가 약간 안가는 부분이 그부분인데요.. ㅠㅠ
데이터를 로드하는 이유가 입력텐서 리스트와 타깃텐서 리스트를 토큰 하나씩 슬라이딩 하여 배치해 다음 단어를 학습할 수 있게 하는 self-supervised 학습이라고 생각하고 있는데요, 첫번째 for 문에서는 타깃 리스트의 첫번째 토큰이 입력 리스트의 두번째 토큰이어서 문제가 없지만 두번째 Loop 부터는 stride=128 면 입력 리스트의 첫번 토큰이 128번째 토큰으로 되는 것인거 같아 그렇습니다. 글로 쓰다 보니 제가 설명을 잘 못드리는거 같아 죄송 합니다. ㅠㅠ
1
네 맞습니다. 입력 리스트의 첫 번째 토큰이 128번째 토큰이면 그다음 토큰(129번째 토큰)을 예측하게 됩니다. 예를 들어 [1,2,3,4,5,6]이란 토큰 아이디에서 스트라이드 2로 데이터를 만들면 [1,2,3,4]와 [3,4,5,6]이 만들어질 수 있습니다. 두 샘플에서 각 토큰의 다음 토큰 예측하는 로직은 스트라이드와 무관합니다. 이해가 되셨을까요? 🙂
0
안녕하세요. 혹시 create_dataloader_v1 함수의 stride 매개변수 기본값 128을 말하시는 걸까요? 매개변수 기본값은 특별한 의미가 있는 것은 아니며 저자의 선택사항입니다. 예제에서 스트라이드 128을 사용해 데이터셋을 만들지는 않았습니다. 또한 스트라이드는 슬라이딩 윈도의 이동 거리를 지정하는 옵션입니다. 슬라이딩 윈도로 샘플링한 데이터에서 다음 토큰을 예측하는 것과는 무관합니다. 감사합니다.
마크다운을 텍스트 파일로 변환하기
0
11
1
import torch가 안되는 경우는 어떻게 하나요?
0
12
1
소리가 겹쳐서 들려요
0
19
2
18강 smithery 를 이용한 mcp 실습(업데이트 요청)
0
17
1
guardrails 부분도 현재버전과 약간 다릅니다.
0
18
1
smithery ai 언제 업데이트 되나요?
0
17
1
무료할당량 사용하는데 문제가 생겼습니다.
0
21
1
섹션2-11 내용중 tool_call
0
25
2
max token을 제한하는게 왜 성능을 개선하게 되는걸까요?
0
42
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
20
1
[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?
0
29
1
gradio 를 통한 챗봇 인터페이스 실습이 진행되지 않습니다.
0
46
1
전 강의와 전혀 이어지지가 않음
0
30
1
pytorch local 설치 옵션에 conda 가 없습니다.
0
38
3
바흐다나우 어텐션을 시작하게 된 이유가 궁금해요!
0
56
2
누적입력에서 겹치는 방식으로 넘어간 이유
0
81
2
인증 하는 방법
0
82
2
7장 3절 이후는 언제 올리나요?
0
70
3
2.2 텍스트 토큰화 하기 강의 질문
0
57
1
Chapter1에서 말하는 "모델"이 정확히 어떤건가요?
0
52
2
챌린지 쿠폰 재 발급 가능 여부 확인 드립니다.
0
75
3
gpt_download 관련 오류 질의입니다.
0
69
2
책관련 질문입니다.
0
58
2
챕터 4 밑바닥부터 GPT 모델 구현하기 강의 업로드 문의드립니다.
0
82
2