173만명의 커뮤니티!! 함께 토론해봐요.
미해결
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
바흐다나우 어텐션에서 모든 입력 토큰을 참조하는 이유 와 그로인한 바흐다나우 어텐션 장점이 무엇인지 궁금해요! 찍어주신 강의에서는 아래와 같이 정리해볼 수 있었는데요, 어떤 장점이 있는지 궁금해서 질문드립니다! - 방법 : 출력 토큰을 생성할 때, 모든 입력 토큰을 참조하고, 입력 토큰별로 중요도를 기록한다. - 단점 : 토큰양이 많아질 수록 저장공간 문제가 발생한다. - 단점으로 인한 제약 : 입력 텍스트 길이에 제한이 발생한다. 좋은 강의 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
앞 텍스트들로 다음 단어 하나를 예측한다고 했는데, 왜 슬라이딩 윈도에서는 입력과 타깃이 겹쳐져있는건가요? 또한 앞 텍스트부터 누적한 다음, 타깃 한 단어만 예측하는 것으로 이해했습니다. 왜 4개씩 나누는 것인지 궁금합니다. 왜 갑자기 슬라이딩 윈도우로 넘어간것인지 그 중간단계가 이해되지 않습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요-! 늦게 챌린지 공부 시작했지만 할 수 있는 만큼 하고 싶어 인프런 강의 열심히 들었습니다. 해설강의 공지를 매우 늦게 확인해 이메일을 확인해보니 스팸함, 다 확인해봐도 메일은 못 받았습니다ㅠ 그럼에도 공지를 확인했어야 했는데, 제가 확인이 늦어 제 잘못이기는 하나 혹 가능하다면 해설 강의 저도 듣고 싶습니다..!! 복습하면서 부족한 부분 채우며 공부하고 싶은데 혹시혹시 가능한 방법이 있을지 문의드립니다ㅠ! 감사합니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
안녕하세요 챌린지 열심히 하고 있는 수강생입니다 다름이 아니라 이 챌린지를 성공하면 길벗 포인트를 받을 수 있다고 본 거 같은데 혹시 4장부터는 인증을 어떻게 해야하는 지 궁금합니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
곧 7장을 들어가는데 7장 2절까지만 강의가 있고 그 이후에는 아직 없는 것 같아서 7장 2절 이후의 강의는 언제 올리는 지 궁금해서 문의 드립니다
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 저도 본강의를 수강하다 놓치게 되어 연락드렸습니다. 혹시 가능하다면 감사하겠습니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
영상 초반에서 말씀하시는 "이전 영상"이 어떤 영상인지 궁금합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
챌린지 본 강의만 보다보니.. 해설강의 쿠폰을 놓쳤네요. 혹시 재발행 가능할까요? 고객센터에 문의해도 답이 없어서 게시판 찾아서 질문 남겨봅니다. 확인 부탁드립니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
제 4장 강의를 듣다 보면 강사님께서 강조하시는 말씀 중에 "입력 차원과 출력 차원은 같아야 하고 768차원이다"라는 게 있습니다. "4.1장. 구조 구현하기"에 나오는 예제 코드의 마지막 부분을 보면 아래와 같이 나와 있습니다. torch.manual_seed(123) model = DummyGPTModel(GPT_CONFIG_124M) logits = model(batch) print("출력 크기:", logits.shape) print(logits) 차원을 살펴보면 마지막 차원이 768차원이 아니라 50257로 나오는데요(즉, [2 , 4, 50257]). txt1 = "Every effort moves you" txt2 = "Every day holds a" 토크나이저에서 위 텍스트를 인덱싱한 후 DummyGPTModel 클래스의 인스턴스에 넘겨주면 768차원이 나와야 하는 게 아닌 지 궁금합니다. 참고로, 3장 끝 부분 "멀티헤드어텐션" 전까지는 수월하게 강의를 한 번만 듣고 책으로 복습해도 수월하게 이해 됐는데, 점차 어려워지네요^^;;;
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다. 제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다. 다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정. import torch inputs = torch.tensor( [[ 0.43 , 0.15 , 0.89 ], # Your (x^1) [ 0.55 , 0.87 , 0.66 ], # journey (x^2) [ 0.57 , 0.85 , 0.64 ], # starts (x^3) [ 0.22 , 0.58 , 0.33 ], # with (x^4) [ 0.77 , 0.25 , 0.10 ], # one (x^5) [ 0.05 , 0.80 , 0.55 ]] # step (x^6) ) 이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요? 아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요? 아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요 실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다. 만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면, 단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요. 즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다. 아니면, 처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도, "훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서 이런 모든 의구심이 해소 되는 것인가요?
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
LLM의 모델이나 파운데이션 모델 이런 말에서 쓰는 "모델"이라는 단어가 정확히 어떤 뜻인지 궁금합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
안녕하세요. 보내주신 챌린지 쿠폰을 오늘 확인했습니다. 기한이 지나 사용이 불가한데 혹시 재발급이 가능할지 문의드립니다. 새소식을 바로 확인을 못해서.ㅠㅠㅠ 수고하세요.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
5.5 실습진행하면서 오류가 발생해서 문의 드립니다. 주피터 노트북 진행 환경 입니다. 오류는 203 페이지 진행중에 발생 settings, params = download_and_load_gpt2(model_size="124M", models_dir="gpt2") file download 이후 오류로 그림과 같습니다. 혹시 해결가능한 방법이 있을까요? 여기서 막히면 다음 진행이 어려울 까요? 확인 부탁드립니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 강사님 열심히 따라가려고 하는데 생각처럼 진도가 나가지 않네요. ㅡㅡ 그림 4-5의 "층 출력"의 분산=0.39로 되어 있습니다. 137페이지의 평균, 분산 출력 결과를 보면 분산=0.023이 맞아 보여서 문의드립니다. 확인 부탁드립니다. 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
안녕하세요. 저작하신 책을 읽어 보고 싶어 검색해 보고 궁금증이 생겨 질문드립니다. 혼자 공부하는 머신러닝 + 딥러닝과 혼자 만들면서 공부하는 딥러닝 두책의 차이점을 알고 싶습니다. 수고하세요.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
현재 모든 과정을 완료하고 책 구매 및 주간 미션도 모두 완료한 상태 입니다. 다만, 모든 과정에 영상이 없다보니, 완료한 진도율이 진도율: 49강/53강 (92.45%) 이렇게 확인이 됩니다. 길벗 포인트의 지원 조건에 부합되는 미션의 기준 및 진도율에 대해 정확히 알고 싶어 제가 수행한 기준에서도 충족이 되는지 확인을 부탁드리고 싶습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
어텐션 가중치가 학습되는 파라메터가 아니라고 하셨는데요. k,q,v 자체는 학습 파라메터가 맞지만 어텐션 가중치(attention score)는 q와 k로 부터 만들기 때문에 학습 파라메터가 아니다 라고 하신거 맞죠?
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요? 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 해설강의 쿠폰이 발행된 줄 모르고 이제야 메일을 확인했는데 쿠폰기간이 만료가 되었는지 다운받아지질 않습니다. 죄송하지만 다시 한번 발송해 주실 수 있을까요? 번거로우시겠지만 부탁드리겠습니다~!!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 메일이 스팸함으로 분류되어 쿠폰을 확인하지 못해 현재 등록이 어려운 상황입니다. 혹시 쿠폰 재발급이 가능할지 확인 부탁드립니다. 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 이전 공지사항을 확인하다보니 강의 쿠폰이 발송되었는데, 스팸함으로 들어가면서 삭제가 된것으로 보입니다. 번거로우시겠지만 확인해주시면 감사하겠습니다.
