바흐다나우 어텐션에서 모든 입력 토큰을 참조하는 이유와 그로인한 바흐다나우 어텐션 장점이 무엇인지 궁금해요! 찍어주신 강의에서는 아래와 같이 정리해볼 수 있었는데요, 어떤 장점이 있는지 궁금해서 질문드립니다! - 방법 : 출력 토큰을 생성할 때, 모든 입력 토큰을 참조하고, 입력 토큰별로 중요도를 기록한다.- 단점 : 토큰양이 많아질 수록 저장공간 문제가 발생한다.- 단점으로 인한 제약 : 입력 텍스트 길이에 제한이 발생한다. 좋은 강의 감사합니다. 

앞 텍스트들로 다음 단어 하나를 예측한다고 했는데, 왜 슬라이딩 윈도에서는 입력과 타깃이 겹쳐져있는건가요?또한 앞 텍스트부터 누적한 다음, 타깃 한 단어만 예측하는 것으로 이해했습니다. 왜 4개씩 나누는 것인지 궁금합니다.왜 갑자기 슬라이딩 윈도우로 넘어간것인지 그 중간단계가 이해되지 않습니다. 

안녕하세요-! 늦게 챌린지 공부 시작했지만 할 수 있는 만큼 하고 싶어 인프런 강의 열심히 들었습니다.해설강의 공지를 매우 늦게 확인해 이메일을 확인해보니 스팸함, 다 확인해봐도 메일은 못 받았습니다ㅠ그럼에도 공지를 확인했어야 했는데, 제가 확인이 늦어 제 잘못이기는 하나 혹 가능하다면 해설 강의 저도 듣고 싶습니다..!!복습하면서 부족한 부분 채우며 공부하고 싶은데 혹시혹시 가능한 방법이 있을지 문의드립니다ㅠ! 감사합니다!

안녕하세요 챌린지 열심히 하고 있는 수강생입니다다름이 아니라 이 챌린지를 성공하면 길벗 포인트를 받을 수 있다고 본 거 같은데혹시 4장부터는 인증을 어떻게 해야하는 지 궁금합니다!

곧 7장을 들어가는데 7장 2절까지만 강의가 있고 그 이후에는 아직 없는 것 같아서 7장 2절 이후의 강의는 언제 올리는 지 궁금해서 문의 드립니다

안녕하세요.저도 본강의를 수강하다 놓치게 되어 연락드렸습니다. 혹시 가능하다면 감사하겠습니다!

영상 초반에서 말씀하시는 "이전 영상"이 어떤 영상인지 궁금합니다.

챌린지 본 강의만 보다보니..해설강의 쿠폰을 놓쳤네요. 혹시 재발행 가능할까요?고객센터에 문의해도 답이 없어서 게시판 찾아서 질문 남겨봅니다.확인 부탁드립니다.

제 4장 강의를 듣다 보면 강사님께서 강조하시는 말씀 중에 "입력 차원과 출력 차원은 같아야 하고 768차원이다"라는 게 있습니다."4.1장. 구조 구현하기"에 나오는 예제 코드의 마지막 부분을 보면 아래와 같이 나와 있습니다.torch.manual_seed(123) model = DummyGPTModel(GPT_CONFIG_124M) logits = model(batch) print("출력 크기:", logits.shape) print(logits)차원을 살펴보면 마지막 차원이 768차원이 아니라 50257로 나오는데요(즉, [2 , 4, 50257]).txt1 = "Every effort moves you" txt2 = "Every day holds a"토크나이저에서 위 텍스트를 인덱싱한 후 DummyGPTModel 클래스의 인스턴스에 넘겨주면 768차원이 나와야 하는 게 아닌 지 궁금합니다.참고로, 3장 끝 부분 "멀티헤드어텐션" 전까지는 수월하게 강의를 한 번만 듣고 책으로 복습해도 수월하게 이해 됐는데, 점차 어려워지네요^^;;;

지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다.제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다.다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정.import torchinputs = torch.tensor(  [[0.43, 0.15, 0.89], # Your     (x^1)   [0.55, 0.87, 0.66], # journey  (x^2)   [0.57, 0.85, 0.64], # starts   (x^3)   [0.22, 0.58, 0.33], # with     (x^4)   [0.77, 0.25, 0.10], # one      (x^5)   [0.05, 0.80, 0.55]] # step     (x^6))이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요?아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요?아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다.만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면,단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요.즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다.아니면,처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도,"훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서이런 모든 의구심이 해소 되는 것인가요?

LLM의 모델이나 파운데이션 모델 이런 말에서 쓰는 "모델"이라는 단어가 정확히 어떤 뜻인지 궁금합니다.

안녕하세요.보내주신 챌린지 쿠폰을 오늘 확인했습니다.기한이 지나 사용이 불가한데혹시 재발급이 가능할지 문의드립니다.새소식을 바로 확인을 못해서.ㅠㅠㅠ수고하세요. 

5.5 실습진행하면서 오류가 발생해서 문의 드립니다.주피터 노트북 진행 환경 입니다. 오류는 203 페이지 진행중에 발생settings, params = download_and_load_gpt2(model_size="124M", models_dir="gpt2") file download 이후 오류로 그림과 같습니다. 혹시 해결가능한 방법이 있을까요?여기서 막히면 다음 진행이 어려울 까요?확인 부탁드립니다.

안녕하세요. 강사님열심히 따라가려고 하는데 생각처럼 진도가 나가지 않네요. ㅡㅡ그림 4-5의 "층 출력"의 분산=0.39로 되어 있습니다.137페이지의 평균, 분산 출력 결과를 보면 분산=0.023이 맞아 보여서 문의드립니다.확인 부탁드립니다.감사합니다.

안녕하세요.저작하신 책을 읽어 보고 싶어 검색해 보고궁금증이 생겨 질문드립니다. 혼자 공부하는 머신러닝 + 딥러닝과혼자 만들면서 공부하는 딥러닝두책의 차이점을 알고 싶습니다. 수고하세요. 

현재 모든 과정을 완료하고 책 구매 및 주간 미션도 모두 완료한 상태 입니다. 다만, 모든 과정에 영상이 없다보니,완료한 진도율이 진도율: 49강/53강 (92.45%) 이렇게 확인이 됩니다. 길벗 포인트의 지원 조건에 부합되는 미션의 기준 및 진도율에 대해정확히 알고 싶어 제가 수행한 기준에서도 충족이 되는지확인을 부탁드리고 싶습니다.

어텐션 가중치가 학습되는 파라메터가 아니라고 하셨는데요. k,q,v 자체는 학습 파라메터가 맞지만 어텐션 가중치(attention score)는 q와 k로 부터 만들기 때문에 학습 파라메터가 아니다 라고 하신거 맞죠?

안녕하세요? 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다.해설강의 쿠폰이 발행된 줄 모르고 이제야 메일을 확인했는데쿠폰기간이 만료가 되었는지 다운받아지질 않습니다.죄송하지만 다시 한번 발송해 주실 수 있을까요?번거로우시겠지만 부탁드리겠습니다~!!

안녕하세요.밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 메일이 스팸함으로 분류되어 쿠폰을 확인하지 못해 현재 등록이 어려운 상황입니다.혹시 쿠폰 재발급이 가능할지 확인 부탁드립니다. 감사합니다.

안녕하세요. 이전 공지사항을 확인하다보니 강의 쿠폰이 발송되었는데, 스팸함으로 들어가면서 삭제가 된것으로 보입니다.번거로우시겠지만 확인해주시면 감사하겠습니다.