173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
곧 7장을 들어가는데 7장 2절까지만 강의가 있고 그 이후에는 아직 없는 것 같아서 7장 2절 이후의 강의는 언제 올리는 지 궁금해서 문의 드립니다
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 저도 본강의를 수강하다 놓치게 되어 연락드렸습니다. 혹시 가능하다면 감사하겠습니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
영상 초반에서 말씀하시는 "이전 영상"이 어떤 영상인지 궁금합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
챌린지 본 강의만 보다보니.. 해설강의 쿠폰을 놓쳤네요. 혹시 재발행 가능할까요? 고객센터에 문의해도 답이 없어서 게시판 찾아서 질문 남겨봅니다. 확인 부탁드립니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
제 4장 강의를 듣다 보면 강사님께서 강조하시는 말씀 중에 "입력 차원과 출력 차원은 같아야 하고 768차원이다"라는 게 있습니다. "4.1장. 구조 구현하기"에 나오는 예제 코드의 마지막 부분을 보면 아래와 같이 나와 있습니다. torch.manual_seed(123) model = DummyGPTModel(GPT_CONFIG_124M) logits = model(batch) print("출력 크기:", logits.shape) print(logits) 차원을 살펴보면 마지막 차원이 768차원이 아니라 50257로 나오는데요(즉, [2 , 4, 50257]). txt1 = "Every effort moves you" txt2 = "Every day holds a" 토크나이저에서 위 텍스트를 인덱싱한 후 DummyGPTModel 클래스의 인스턴스에 넘겨주면 768차원이 나와야 하는 게 아닌 지 궁금합니다. 참고로, 3장 끝 부분 "멀티헤드어텐션" 전까지는 수월하게 강의를 한 번만 듣고 책으로 복습해도 수월하게 이해 됐는데, 점차 어려워지네요^^;;;
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다. 제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다. 다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정. import torch inputs = torch.tensor( [[ 0.43 , 0.15 , 0.89 ], # Your (x^1) [ 0.55 , 0.87 , 0.66 ], # journey (x^2) [ 0.57 , 0.85 , 0.64 ], # starts (x^3) [ 0.22 , 0.58 , 0.33 ], # with (x^4) [ 0.77 , 0.25 , 0.10 ], # one (x^5) [ 0.05 , 0.80 , 0.55 ]] # step (x^6) ) 이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요? 아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요? 아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요 실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다. 만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면, 단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요. 즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다. 아니면, 처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도, "훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서 이런 모든 의구심이 해소 되는 것인가요?
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
LLM의 모델이나 파운데이션 모델 이런 말에서 쓰는 "모델"이라는 단어가 정확히 어떤 뜻인지 궁금합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
안녕하세요. 보내주신 챌린지 쿠폰을 오늘 확인했습니다. 기한이 지나 사용이 불가한데 혹시 재발급이 가능할지 문의드립니다. 새소식을 바로 확인을 못해서.ㅠㅠㅠ 수고하세요.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
5.5 실습진행하면서 오류가 발생해서 문의 드립니다. 주피터 노트북 진행 환경 입니다. 오류는 203 페이지 진행중에 발생 settings, params = download_and_load_gpt2(model_size="124M", models_dir="gpt2") file download 이후 오류로 그림과 같습니다. 혹시 해결가능한 방법이 있을까요? 여기서 막히면 다음 진행이 어려울 까요? 확인 부탁드립니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 강사님 열심히 따라가려고 하는데 생각처럼 진도가 나가지 않네요. ㅡㅡ 그림 4-5의 "층 출력"의 분산=0.39로 되어 있습니다. 137페이지의 평균, 분산 출력 결과를 보면 분산=0.023이 맞아 보여서 문의드립니다. 확인 부탁드립니다. 감사합니다.
미해결
구현하며 배우는 Transformer
안녕하십니까, 강사님. 트랜스포머에 대한 세심하고 깊이 있는 강의를 준비해주셔서 감사합니다. 강의 정말 유익하게 잘 듣고 있습니다. Self-Attention의 learnable parameter 단계로 넘어가면서 몇 가지 궁금한 점이 생겨 질문드립니다. 초기 token embedding 은 어떤 방식으로 설정되는 것인가요? Query, Key, Value 를 구하기 위해 초기 token embedding에 (3, 3) 형태의 nn.Linear 를 곱하여 각각 (6, 3) 으로 변환하는 과정의 의미가 궁금합니다. 기존 token embedding을 그대로 사용하지 않고 이렇게 변환하는 이유가 무엇인지 알고 싶습니다. 조금 더 구체적으로는, 이렇게 선형 변환을 적용하면 기존 임베딩의 의미가 무시되거나 손실되는 것은 아닌지 의문이 있습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 해설 강의
안녕하세요. 저작하신 책을 읽어 보고 싶어 검색해 보고 궁금증이 생겨 질문드립니다. 혼자 공부하는 머신러닝 + 딥러닝과 혼자 만들면서 공부하는 딥러닝 두책의 차이점을 알고 싶습니다. 수고하세요.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
현재 모든 과정을 완료하고 책 구매 및 주간 미션도 모두 완료한 상태 입니다. 다만, 모든 과정에 영상이 없다보니, 완료한 진도율이 진도율: 49강/53강 (92.45%) 이렇게 확인이 됩니다. 길벗 포인트의 지원 조건에 부합되는 미션의 기준 및 진도율에 대해 정확히 알고 싶어 제가 수행한 기준에서도 충족이 되는지 확인을 부탁드리고 싶습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
어텐션 가중치가 학습되는 파라메터가 아니라고 하셨는데요. k,q,v 자체는 학습 파라메터가 맞지만 어텐션 가중치(attention score)는 q와 k로 부터 만들기 때문에 학습 파라메터가 아니다 라고 하신거 맞죠?
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요? 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 해설강의 쿠폰이 발행된 줄 모르고 이제야 메일을 확인했는데 쿠폰기간이 만료가 되었는지 다운받아지질 않습니다. 죄송하지만 다시 한번 발송해 주실 수 있을까요? 번거로우시겠지만 부탁드리겠습니다~!!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 메일이 스팸함으로 분류되어 쿠폰을 확인하지 못해 현재 등록이 어려운 상황입니다. 혹시 쿠폰 재발급이 가능할지 확인 부탁드립니다. 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 이전 공지사항을 확인하다보니 강의 쿠폰이 발송되었는데, 스팸함으로 들어가면서 삭제가 된것으로 보입니다. 번거로우시겠지만 확인해주시면 감사하겠습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 밑바닥부터 만들면서 배우는 LLM 수강생입니다. 두 번이나 코드 해설 강의 쿠폰을 발행해주셨는데 직장인인데다가 최근에 바빠서 제대로 확인하지 못했습니다. 마침 등록되어 있는 메일도 자주 이용하는 메일이 아니다보니 제때 확인하지 못했네요. 여러모로 실례지만 혹시 추가로 쿠폰을 발행받을 수 있는 방법이 없을까요? 번거롭게 해서 죄송합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요 저도 따로 이메일이나 기타 연락을 받지 못해여 쿠폰을 못챙겼습니다. 사실 오늘 알게 된것도 우연히 알게되었습니다. 조금 번거로우시겠지만 아래 다른분 처럼 등록을 부탁 드려도 될까요
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 본 완독 챌린지에서 제공하는 코드 해설 강의 쿠폰을 받지 못해, 지금이라도 이걸 받을 수 있는 방법이 있을지 문의드립니다. 새 소식에 있는 공지들을 보면 1차 때나 2차 때나 쿠폰이 일괄 발송되었다고 적혀있는데, 메일 수신함 전체를 확인해봐도 아무 것도 온 게 없습니다.(아마 발송 내역을 확인해보시면 될 듯 합니다) 챌린지 신청 기간 당시 챌린지 소개에는 추가 강의 제공 형태(쿠폰으로 제공 후 직접 등록 필요 + 기간 만료형), 강의 제공 시기(추후 제공) 등의 내용이 고지되지 않아 추석 기간 때 놓쳤다가, 공지사항을 나중에 보고서 재발급을 기다리고 있었는데 주중에 다시 진행되었을 줄 몰랐네요... 주간에는 업무로 인해 인프런 사이트에 매번 들어와서 직접 확인하기가 어려워서요. 혹시 이를 받을 수 있는 다른 방법이 있다면 알려주시면 고맙겠습니다. p.s) 책은 내용이 좋아서 재미있게 보고 있습니다.
