안녕하세요 강사님, 공지를 늦게 확인하고 쿠폰을 확인하지 못해 문의 남깁니다.이전 문의 글들을 보니 가입한 이메일로 지난주 및 이번주에 쿠폰이 지급될 것이라 안내 해 주셨더라구요.하지만 저 같은 경우 지난주에도 메일이 오지 않았고 현재도 수신된 메일이 없기에 확인할 수 있는 방법이 있을지 문의 드립니다.감사합니다!

안녕하세요.교재 63페이지에 “다음으로 조금 더 흥미로운 텍스트 구절을 만들기 위해 데이터셋에 있는 처음 50개 토큰을 삭제합니다.”라는 문장이 있습니다.이때 ‘흥미로운’이라는 표현이 어떤 의미를 가지는지, 그리고 텍스트를 더 흥미롭게 만들기 위해 앞의 50개 토큰을 삭제하는 이유가 무엇인지 궁금합니다.또한 다른 LLM 모델에서도 이와 같은 전처리 과정을 수행하는지, 만약 수행한다면 그 이유가 궁금합니다.감사합니다.

추석이 쭈욱 지나가서 ㅠㅠ 2주차에는 무엇을해야할까요??카카오오픈채팅방도 있다던데 어디서 확인 할 수 있는지 알고싶습니다.

챕터 4 밑바닥부터 GPT 모델 구현하기 강의가선택해도 강의가 나오지 않는 것은, 아직 등록이 되지 않아서 그런건지 문의드립니다.

책과, 강의에서 임베딩을 초기화 하는 방법에 대해서 자세히 설명이 되지 않은 것 같습니다. 책에서는 재현가능하도록 하기 위해 랜덤시드를 사용한 것 같은데, 최근 트랜드는 어떤 방법을 사용하는지 궁금합니다

강의와는 상관없지만, 번역자님의 강의라서 표시해봅니다. 249페이지model_state_dict = troch.load("review_classifier.pth, map_location=device")-->model_state_dict = troch.load("review_classifier.pth", map_location=device) 255페이지 url 에 오타 rickipark -> rickieparkurl = ( 'https://raw.githubusercontent.com/rickiepark/llm-from-scratch' '/main/ch07/01_main-chapter-code/instruction-data.json') 

8강 부터는 영상이 안나오는게 정상인가요?

안녕하세요. 연휴에 공지 확인을 제대로 못해서 쿠폰 등록을 놓쳤는데, 혹시 재발급 가능할까요?

7:40초 즈음에 GPT3가 768 차원이라고 하셨는데 책에는 GPT2가 768차원 , GPT3가 12,288차원인데 어떤 설명이 맞는걸까요

추석 연휴에 완독 목표로 하루에 한장씩 도전중입니다.4장부터는 강의가 안보이는데, 아직 등록이 안된걸까요?

<밑바닥부터 만들면서 배우는 LLM> 코드 해설 강의 (10월 6일 무료 쿠폰 일괄 지급)쿠폰은 어디서 확인하면 되는지 문의드립니다.

Chapter2에서 슬라이딩 윈도우 만들때 stride를 128로 했는데요, 타깃은 인풋 마지막 토큰의 다음번째 토큰을 예측 하기 위해 for문을 돌면서 첫번째 타깃은 2번째 토큰, 다음은 3번째 토큰.. 이런식으로 되는걸로 아는데 갑자기 128로 건너 뛰는 이유는 무엇인지요?

7-4강의 듣고있는데Utils에서 predictUtils.tsx 이것이고Types 에선 Predict.ts 대문자이구  frontend 구조중에서 해당 프로젝트의 소스코드 폴더별로 대문자 인지, 소문자인지 ,파일별로도 마찬가지고. 컨벤션이 궁금해요

또한 next에서 실습시 사용한 폴더구조는 어떤 구조이며 , 상용화된 구조인가요? 궁금합니다.추가로 닭강정님 강의 잘 듣고있습니다. 이번강의 완독후 electron 강의도 학습하려고하는데프론트 프레임워크가 해당강의는 next인데 , electron강좌는 react인것같더라구요next도 electron을 통해서 포팅가능한가요?

LLM 도서구매는 개별적으로 하면 되는지요?

Policy Network(Q)와 일반적인 Q-learning 문제에서의 behaviour policy(b)가 각자 하는 역할이 비슷한거 같은데, 만약 틀리다면 추가적인 설명을 부탁드려도 될까요? 왜냐하면, '탐험'의 성격?을 각각의 net과 policy가 수행한다고 생각했습니다. 우선 network관점에서는 특정 행동 결정 규칙에 따라 weight를 형성하는데 이때 그리디 action에 대한 value를 추정(max함수)하는 target network에 비해선 '활용'보다는 '탐험'을 하고 있다고 생각합니다 -> 행동 규칙에 따라 transition을 입력으로 받아 weight를 업데이트 하기 때문. 이로 인해 일반적인 Q-learning에서의 b도 max를 출력하는 target policy, pi대신 e-그리디 정책으로 일정 확률 e로 모든 행동을 선택할 수 있는 기믹을 활용하여 '탐험'을 하기 때문에 위와 같은 생각을 하였습니다.

6:49쯤에, MSBE = (delta_{t+1})^2의 미분 결과가 2*(delta_{t+1})* (\partial(delta_{t+1}}); 합성함수의 미분, 의 형태가 아닌 화면에 나오는 것처럼 미분이 되는지 궁금합니다.  추가로 policy improvement step에서 각 action에 대해서 value가 높은 weight로 parameters을 업데이트 하면서 자동적으로 최적pi를 찾게 된다고 보는 게 맞는 이해일까요?

안녕하세요 강사님. Fast R-CNN 강의를 들으며 이해가 잘 되지 않는 부분이 있어 질문드립니다. 원본 이미지를 800×800으로 입력하고, (1) Selective Search로 생성한 region proposal과 (2) CNN을 통해 얻은 feature map을 합치는 과정을 저는 RoI Projection이라고 이해했습니다. Q1. 그런데 region proposal 결과가 왜 원본 이미지와 달리 500×700 크기로 나오는지 궁금합니다.Q2. 또한 feature map은 원본 이미지 전체(800×800)를 커버하는 반면, region proposal은 앞선 질문처럼 이미지 일부(500×700)만을 다룹니다. 그런데도 RoI Projection을 적용했을 때, region proposal이 feature map 전체에 반영된 것처럼 보이는 그림이 이해되지 않습니다. 강의 자료에는 5x7 혹시 이는 그림의 단순화/오류인지 궁금합니다. Q3. 추가적으로, Fast R-CNN과 Faster R-CNN은 네트워크 학습을 기반으로 하기 때문에 단순히 입력 이미지에 바운딩 박스를 그리는 것 외에도 라벨링 과정이 필요할 것 같습니다. 이러한 라벨들이 어떻게 생성되는지에 대한 추가 강의도 있으면 좋겠습니다. (예: Fast R-CNN은 최종 예측을 위한 라벨, Faster R-CNN은 RPN 단계와 최종 예측을 위한 라벨) 읽어주셔서 감사합니다.  

mini-batch gradient descent 시 batch size 단위로 평균값을 가지고 파라미터 업데이트 한다고 설명하신 거 같습니다. 그런데 강의하시는 코드에는 forward() 다음 연속해서 .backward()가 나오고 있어 마치 매번 업데이트를 하는 것처럼 해석되는데요. 제가 어떤 부분에 오해하고 있는 것인지? 문의드립니다.

안녕하세요 강사님 섹션 2의 CNN 실습(100_CIFAR10_CNN.ipynb) 관련하여 질문드립니다.아래 코드에서는 train_loss에 배치별 loss를 누적한 뒤,  for문이 끝나면 train_loss /= len(train_data) 로 평균을 계산하고 있습니다.그런데 loss.item()은 이미 각 배치에서 평균이 적용된 스칼라 값입니다. 따라서 다시 전체 데이터 개수(len(train_data))로 나누면 이중으로 평균이 계산되는 것 같습니다. 그래서 저는 train_loss += loss.item() * x.size(0) 형태로  배치 손실의 합계를 누적한 뒤, 마지막에 전체 데이터 수로 나누는 방식이보다 정확하다고 생각하는데, 혹시 어떻게 생각하실까요? 좋은 강의 제공해주셔서 감사합니다.  for x, y in train_loader: # 훈련 데이터셋을 배치 단위로 순회 x, y = x.to(device), y.to(device) # 배치 데이터를 현재 디바이스로 이동 optimizer.zero_grad() # 이전 그라디언트를 초기화 z = model(x) # 모델을 통해 예측값 계산 loss = criterion(z, y) # 예측값과 실제 레이블 간의 손실 계산 train_loss += loss.item() # 손실 누적 y_pred = z.argmax(1) # 가장 높은 예측값의 인덱스를 정답으로 선택 train_acc += (y_pred == y).sum().item() # 정확히 예측된 개수 누적 loss.backward() # 손실에 대한 그라디언트 계산 optimizer.step() # 모델의 가중치 업데이트 train_loss /= len(train_data) # 평균 훈련 손실 계산 train_acc /= len(train_data) # 평균 훈련 정확도 계산 LOSS.append(train_loss) ACC.append(train_acc)