173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요-! 늦게 챌린지 공부 시작했지만 할 수 있는 만큼 하고 싶어 인프런 강의 열심히 들었습니다. 해설강의 공지를 매우 늦게 확인해 이메일을 확인해보니 스팸함, 다 확인해봐도 메일은 못 받았습니다ㅠ 그럼에도 공지를 확인했어야 했는데, 제가 확인이 늦어 제 잘못이기는 하나 혹 가능하다면 해설 강의 저도 듣고 싶습니다..!! 복습하면서 부족한 부분 채우며 공부하고 싶은데 혹시혹시 가능한 방법이 있을지 문의드립니다ㅠ! 감사합니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 저도 본강의를 수강하다 놓치게 되어 연락드렸습니다. 혹시 가능하다면 감사하겠습니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
챌린지 본 강의만 보다보니.. 해설강의 쿠폰을 놓쳤네요. 혹시 재발행 가능할까요? 고객센터에 문의해도 답이 없어서 게시판 찾아서 질문 남겨봅니다. 확인 부탁드립니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
제 4장 강의를 듣다 보면 강사님께서 강조하시는 말씀 중에 "입력 차원과 출력 차원은 같아야 하고 768차원이다"라는 게 있습니다. "4.1장. 구조 구현하기"에 나오는 예제 코드의 마지막 부분을 보면 아래와 같이 나와 있습니다. torch.manual_seed(123) model = DummyGPTModel(GPT_CONFIG_124M) logits = model(batch) print("출력 크기:", logits.shape) print(logits) 차원을 살펴보면 마지막 차원이 768차원이 아니라 50257로 나오는데요(즉, [2 , 4, 50257]). txt1 = "Every effort moves you" txt2 = "Every day holds a" 토크나이저에서 위 텍스트를 인덱싱한 후 DummyGPTModel 클래스의 인스턴스에 넘겨주면 768차원이 나와야 하는 게 아닌 지 궁금합니다. 참고로, 3장 끝 부분 "멀티헤드어텐션" 전까지는 수월하게 강의를 한 번만 듣고 책으로 복습해도 수월하게 이해 됐는데, 점차 어려워지네요^^;;;
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다. 제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다. 다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정. import torch inputs = torch.tensor( [[ 0.43 , 0.15 , 0.89 ], # Your (x^1) [ 0.55 , 0.87 , 0.66 ], # journey (x^2) [ 0.57 , 0.85 , 0.64 ], # starts (x^3) [ 0.22 , 0.58 , 0.33 ], # with (x^4) [ 0.77 , 0.25 , 0.10 ], # one (x^5) [ 0.05 , 0.80 , 0.55 ]] # step (x^6) ) 이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요? 아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요? 아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요 실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다. 만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면, 단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요. 즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다. 아니면, 처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도, "훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서 이런 모든 의구심이 해소 되는 것인가요?
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 강사님 열심히 따라가려고 하는데 생각처럼 진도가 나가지 않네요. ㅡㅡ 그림 4-5의 "층 출력"의 분산=0.39로 되어 있습니다. 137페이지의 평균, 분산 출력 결과를 보면 분산=0.023이 맞아 보여서 문의드립니다. 확인 부탁드립니다. 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
현재 모든 과정을 완료하고 책 구매 및 주간 미션도 모두 완료한 상태 입니다. 다만, 모든 과정에 영상이 없다보니, 완료한 진도율이 진도율: 49강/53강 (92.45%) 이렇게 확인이 됩니다. 길벗 포인트의 지원 조건에 부합되는 미션의 기준 및 진도율에 대해 정확히 알고 싶어 제가 수행한 기준에서도 충족이 되는지 확인을 부탁드리고 싶습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
어텐션 가중치가 학습되는 파라메터가 아니라고 하셨는데요. k,q,v 자체는 학습 파라메터가 맞지만 어텐션 가중치(attention score)는 q와 k로 부터 만들기 때문에 학습 파라메터가 아니다 라고 하신거 맞죠?
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요? 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 해설강의 쿠폰이 발행된 줄 모르고 이제야 메일을 확인했는데 쿠폰기간이 만료가 되었는지 다운받아지질 않습니다. 죄송하지만 다시 한번 발송해 주실 수 있을까요? 번거로우시겠지만 부탁드리겠습니다~!!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 밑바닥부터 만들면서 배우는 LLM 완독 챌린지 수강생입니다. 메일이 스팸함으로 분류되어 쿠폰을 확인하지 못해 현재 등록이 어려운 상황입니다. 혹시 쿠폰 재발급이 가능할지 확인 부탁드립니다. 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 이전 공지사항을 확인하다보니 강의 쿠폰이 발송되었는데, 스팸함으로 들어가면서 삭제가 된것으로 보입니다. 번거로우시겠지만 확인해주시면 감사하겠습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 밑바닥부터 만들면서 배우는 LLM 수강생입니다. 두 번이나 코드 해설 강의 쿠폰을 발행해주셨는데 직장인인데다가 최근에 바빠서 제대로 확인하지 못했습니다. 마침 등록되어 있는 메일도 자주 이용하는 메일이 아니다보니 제때 확인하지 못했네요. 여러모로 실례지만 혹시 추가로 쿠폰을 발행받을 수 있는 방법이 없을까요? 번거롭게 해서 죄송합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요 저도 따로 이메일이나 기타 연락을 받지 못해여 쿠폰을 못챙겼습니다. 사실 오늘 알게 된것도 우연히 알게되었습니다. 조금 번거로우시겠지만 아래 다른분 처럼 등록을 부탁 드려도 될까요
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 본 완독 챌린지에서 제공하는 코드 해설 강의 쿠폰을 받지 못해, 지금이라도 이걸 받을 수 있는 방법이 있을지 문의드립니다. 새 소식에 있는 공지들을 보면 1차 때나 2차 때나 쿠폰이 일괄 발송되었다고 적혀있는데, 메일 수신함 전체를 확인해봐도 아무 것도 온 게 없습니다.(아마 발송 내역을 확인해보시면 될 듯 합니다) 챌린지 신청 기간 당시 챌린지 소개에는 추가 강의 제공 형태(쿠폰으로 제공 후 직접 등록 필요 + 기간 만료형), 강의 제공 시기(추후 제공) 등의 내용이 고지되지 않아 추석 기간 때 놓쳤다가, 공지사항을 나중에 보고서 재발급을 기다리고 있었는데 주중에 다시 진행되었을 줄 몰랐네요... 주간에는 업무로 인해 인프런 사이트에 매번 들어와서 직접 확인하기가 어려워서요. 혹시 이를 받을 수 있는 다른 방법이 있다면 알려주시면 고맙겠습니다. p.s) 책은 내용이 좋아서 재미있게 보고 있습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요 강사님, 공지를 늦게 확인하고 쿠폰을 확인하지 못해 문의 남깁니다. 이전 문의 글들을 보니 가입한 이메일로 지난주 및 이번주에 쿠폰이 지급될 것이라 안내 해 주셨더라구요. 하지만 저 같은 경우 지난주에도 메일이 오지 않았고 현재도 수신된 메일이 없기에 확인할 수 있는 방법이 있을지 문의 드립니다. 감사합니다!
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
안녕하세요. 교재 63페이지에 “다음으로 조금 더 흥미로운 텍스트 구절을 만들기 위해 데이터셋에 있는 처음 50개 토큰을 삭제합니다.”라는 문장이 있습니다. 이때 ‘흥미로운’이라는 표현이 어떤 의미를 가지는지, 그리고 텍스트를 더 흥미롭게 만들기 위해 앞의 50개 토큰을 삭제하는 이유가 무엇인지 궁금합니다. 또한 다른 LLM 모델에서도 이와 같은 전처리 과정을 수행하는지, 만약 수행한다면 그 이유가 궁금합니다. 감사합니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
추석이 쭈욱 지나가서 ㅠㅠ 2주차에는 무엇을해야할까요?? 카카오오픈채팅방도 있다던데 어디서 확인 할 수 있는지 알고싶습니다.
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
책과, 강의에서 임베딩을 초기화 하는 방법에 대해서 자세히 설명이 되지 않은 것 같습니다. 책에서는 재현가능하도록 하기 위해 랜덤시드를 사용한 것 같은데, 최근 트랜드는 어떤 방법을 사용하는지 궁금합니다
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
강의와는 상관없지만, 번역자님의 강의라서 표시해봅니다. 249페이지 model_state_dict = troch.load("review_classifier.pth, map_location=device") --> model_state_dict = troch.load("review_classifier.pth", map_location=device) 255페이지 url 에 오타 rickipark -> rickiepark url = ( ' https://raw.githubusercontent.com/rickiepark/llm-from-scratch ' '/main/ch07/01_main-chapter-code/instruction-data.json' )
해결됨
<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
8강 부터는 영상이 안나오는게 정상인가요?
