import torch data1 = torch.DoubleTensor([ [[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]] ]) print (data1.shape, "높이(k):", data1.size(0), "너비(n):", data1.size(1), "깊이(m):", data1.size(2))위와 같이 예제 코드를 보다 의문이 들어 문의 남깁니다.기존에 배웠던 넘파이 데이터 구조에서와 마찬가지로 생각했는데,여기 텐서에서도 순서가 깊이(depth) - 높이(row) - 너비(column) (2, 2, 3) 순이 아닌지 하여 질문 드립니다.혹시 제가 오개념을 잡고 있다면, 알려주시면 정말 감사하겠습니다!

- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 파이토치 실습 코드 부분 수강시 마다,강의와 동일하게 torch.FloatTensor 메서드를 쓰는데도  강의에서 나오는 출력값 : tensor([2.1218e+28, 1.8070e+29, -4.3554e+28]) 실제 출력값 : tensor([0., 0., 0.])  계속 위와 같은 결과가 나옵니다. 타 웹페이지를 검색해봐도 나오지 않아, 원인 및 조치방법 문의드립니다.

- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하십니까? 선생님 강의를 여러개 꾸준히 듣고 있는 학생입니다.처음하는 딥러닝과 파이토치 강의를 들으며 강의자료에 필기를 하고 싶은데 다운로드가 불가능하여 학습에 조금 불편함을 느끼고 있습니다. 드라이브 강의자료 다운로드 권한을 구매자에 한에 풀어주실순 없으실까요?

안녕하세요. 강의 잘 듣고 있습니다.종합실습에서 모델을 만들고 돌린 후에 모델 평가 코드를 실행했습니다. 다른 지표는 이전 실습(강의)에서 했던 것과 비슷하게 나왔습니다. 하지만 MAPE 지표는 엄청 큰 값이 나왔습니다. 예)MAPE : 352267848908800.0혹시 몰라서 참조답안 코드도 전체 실행하고 MAPE 지표를 확인했고 마찬가지로 (MAPE : 380158091460608.0 ) 엄청 큰 값이 나왔습니다. 왜 이렇게 큰 값이 나온 걸까요?chat한테 물어보니까 다음과 같은 답변을 받았습니다. MAPE 값이 매우 큰 것은 비정상적입니다. 일반적으로 MAPE는 100% 미만의 값을 가집니다.이렇게 큰 MAPE 값은 다음과 같은 이유로 발생할 수 있습니다:실제값 중 0 또는 0에 매우 가까운 값이 있어 분모가 극히 작아진 경우데이터 스케일링 문제로 인해 예측값과 실제값의 차이가 극단적으로 큰 경우계산 과정에서의 오류이러한 MAPE 값은 신뢰할 수 없으며, 데이터나 모델에 문제가 있을 가능성이 높습니다. MSE와 MAE는 상대적으로 합리적인 값을 보이고 있으므로, MAPE 계산 과정이나 데이터를 재검토해볼 필요가 있습니다.

안녕하세요, 수업 정말 잘 들었습니다 🙂 하나 궁금한 건,vgg19 의 features 및 classifier 를 확인해보니, """(features): Sequential( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (1): ReLU(inplace=True)... (34): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (35): ReLU(inplace=True) (36): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(classifier): Sequential( (0): Linear(in_features=25088, out_features=4096, bias=True) (1): ReLU(inplace=True)"""이렇게 생겼더라구요. 입력 이미지의 원래 width, height 를 X 라고 했을 때,vgg19 에서 다섯 번의 maxpool2d 및 Conv 레이어를 거치며,최종적인 width, height, channel 은 X/(2^5), X/(2^5), 512 이 될 것 같고,이게 Fully Connected Layer 의 입력 unit 25088 개와 같은 숫자가 되려면,X = 224 가 맞는 것 같은데, 강의 코드에서 512 로 설정하신 이유가 특별히 있으실까요?

안녕하세요, 수업 정말 잘 들었습니다 🙂  하나 궁금한 건, loss.py 에서 ContentLoss, StyleLoss 를 정의하고, 이후 해당 클래스들을 train.py 에서 불러온 다음 total_loss 를 계산하였는데. 혹시 loss.py 에서 total_loss 의 클래스도 구현하는게 정석적인 건지 아니면 이처럼 train 과정에서 새로운 loss term 을 하이퍼파라미터와 함께 초기화하여 사용하는게 더 일반적인 건지 궁금합니다.

안녕하세요, 선생님의 논문구현 강의 수강 전에 문의드릴 것이 있어 부득이하게 여기에 질문 드립니다.가용할 gpu가 마땅치 않아 코랩을 이용해야 할 것 같은데 해당 강의를 수강하는데 문제가 될까요?감사드립니다

단순히 궁금증이 생긴겁니다.텐서 복사를 보다보니까 판다스 copy()메서드 생각나서 찾아보니판다스에서 COPY()메서드도 깊은복사, 얕은복사(deep 인자가 기본값으로 true)조정이 가능하더라고요(판다스공식문서)  제 질문은 이겁니다. copy()메서드의 deep 인자를 실무에서 조작할 일이 생기나요?

지금 fine tuning 단계에서 어떤 데이터셋을 기존의 Llama에 학습을 추가로 시켜서 정보를 더 추가하는 방법 부분을 학습하고 있습니다.혹시 이 반대와 같은 경우가 가능할까요? 예를들어서 Llama모델에서 한국어로 이루어진 모든 데이터를 전부 제거한다. 이런식의 define tuning이 되는 방법이 있는지 궁금합니다.

안녕하세요.항상 친절하고 자세하게 강의해주셔서 재미있게 배우고 있습니다.다름이 아니라, 본 강의에서 설명해주신 Negative Entropy의 의미에 대해 제가 확실하게 이해한 것이 맞는지 질문하려고 글을 남깁니다. [질문 1] 먼저, 아래에 제가 이해한 내용이 맞을까요?KL Div. Loss에서 negative entropy는 오직 Y_i,c에 대한 항으로만 이루어져 있고 Y_hat과는 전혀 상관이 없으므로 모델의 성능과는 관계 없는 항입니다. 따라서, 학습 데이터셋의 확률 분포 측면에서 생각했을 때, negative entropy가 높을 수록 학습 난이도가 낮은 데이터셋(예: 강아지 vs. 선인장 분류 데이터)이라 생각할 수 있고, 학습 난이도가 쉬우면 쉬울 수록 이 negative entropy 항의 값은 증가합니다. [질문 2] 그렇다면, negative entropy 값이 높을 때(=학습 데이터셋 난이도가 낮을 때) KL Div에서 전체적인 loss 값도 커지게 되는데요. Loss 값이 커지면 결과적으로 모델이 학습할 때 더 큰 폭으로 gradient descent를 수행하게 되어서 좋은 것인가요? KL Div에서 negative entropy를 더해주는 것이 모델 학습과 정확히 어떤 관련이 있는지 잘 이해가 가지 않습니다. 감사합니다!

Lora 기법으로 인해서 전체 모델의 56%의 파라미터만 fine tuning에 사용됐다고 하는데, 로직 내에서 fine tuning하겠다고 결정하는 기준이 있는건가요?

강의에 사용된 소스코드는 어디에 있는지 문의드립니다.PDF파일은 있지만, 예제 풀이에 사용되는 colab에서 동작시키는 소스코드를 다운 받을 위치를 가르쳐 주셨으면 합니다.

안녕하세요. 선생님의 강의로 머신러닝 및 딥러닝에 관심을 갖게 되었습니다.다름이 아니고, CIFAR100 dataset에 대해서 VGGNet이라는 모델을 이용해 훈련을 시켜보고 있는데,제가 궁금한 것은 Softmax의 Input의 정밀도를 어디까지 유지하면 모델이 잘 학습될 수 있을까?입니다. 아래의 코드는 training부분입니다. 첫 번째 사진처럼 모델을 훈련시키는데, model(images)를 통해 나온 실제 output을 이용하면 모델이 잘 학습이 되는데 (마지막 epoch의 validation accuracy 55, Top-5 Test Accuracy 80%정도), 이 output을 rounding을 하면 소숫점 아래 20째자리까지 반올림을 해서 높은 정밀도를 유지해도 모델 학습이 아예 되지 않는 (모든 epoch가 끝나도 Validation Accuracy가 1%남짓) 문제가 발생합니다. 이러한 문제가 왜 발생하는지, 어떻게 하면 해결할 수 있을지또 제가 궁금한 Softmax layer에서 요구하는 최소 Input 정밀도에 대해 다른 방법으로 측정할 수 있을지 궁금합니다 ㅠㅠ감사합니다  

안녕하세요 선생님강의 잘 보고 있습니다구글넷의 인셉션 모듈 설명 중에 MAX pooling이 포함되어 있는데요보통 max pooling은 인풋의 사이즈를 줄이는 것으로 알고 있는데 그러면 다른 컨볼루션이 통과된 아웃풋과 사이즈가 달라져서 concat이 안되는 거 아닌가요?아니면 여기에 포함된 컨볼루션들은 max pooling과 같은 stride를 같는 걸까요?

안녕하세요 선생님강의 정말 잘 보고 있고요제 많은 질문들에도 너무 성심성의껏 답변 달아주셔서 감사합니다 ㅎㅎBatchNorm이 설계된 의도는 internal covariate shift를 해결하기 위해 제안되었다는 것은 이해했습니다.하지만 실제로는 그렇지 않고 optimization surface를 매끄럽게 해서 학습이 잘된다라고 설명하신 것까지 들었습니다.제가 이해한 바로는 활성화 함수에 들어가는 입력의 분포를 조정해서 학습이 잘되는 위치? 분포를 학습하는 것으로 이해했는데요(sigmoid로 예시를 든다면 더 이상 업데이트가 되지 않아도 될 정도라면 기울기가 saturate되는 부분으로 혹은 업데이트가 많이 되어야 한다면 0부근으로 이동시키는 등의) 정확히 어떤 원인에 의해 surface가 매끄러워지는 효과를 가지게 되는 것인지 궁금합니다..!

안녕하세요 선생님강의 정말 잘 보고 있습니다.Layer Normalization을 보는 중에 입력 데이터를 Normalization하는 것을 통해 scale이나 shift에 robust하게 되는 것까진 이해했습니다.이런 효과가 왜 이미지보다 언어 모델에 더욱 효과적인지 이유를 알 수 있을까요?

[Pytorch] 파이토치를 활용한 딥러닝 모델 구축섹션 5 CNN(Convolutional Neural Network, 합성곱 신경망)실습 - CNN model (LeNet-5) Mnist Dataset 분류 강의 중15분 15초 부분 code 실행 시 이미지가 출력되지 않습니다.local(jupyter notebook) 에서도 online(colab) 에서도모두 출려되지 않습니다. 어떻게 하면 되는지요?

섹션 다양한 Optimizer 정리하기 중 딥러닝으로 Regression 문제 적용해보기 (House Price Kaggle 문제) 강의에서 오류가 발생합니다.강의에 나오는 code 중 아래 부분을 실행하면 RuntimeError 가 발생합니다. 이 부분이 문제라고 나옵니다. --> loss = torch.sqrt(loss_function(y_minibatch_pred, y_minibatch))RuntimeError: The size of tensor a (1460) must match the size of tensor b (256) at non-singleton dimension 1 - 아 래 - for index in range(nb_epochs): indices = torch.randperm(X_train_tensor.size(0)) x_batch_list = torch.index_select(X_train_tensor, 0, index=indices) y_batch_list = torch.index_select(y_train_tensor, 0, index=indices) x_batch_list = x_batch_list.split(minibatch_size, 0) y_batch_list = y_batch_list.split(minibatch_size, 0) epoch_loss = list() for x_minibatch, y_minibatch in zip(x_batch_list, y_batch_list): y_minibatch_pred = model(x_minibatch) loss = torch.sqrt(loss_function(y_minibatch_pred, y_minibatch)) epoch_loss.append(loss) optimizer.zero_grad() loss.backward() potimizer.step() if index % 100 == 0: print(index, sum(epoch_loss) / len(epoch_loss)) 

안녕하세요. 섹션 20~23 colab링크는 있는데요. 강의자료 pdf가 없어서 문의 드립니다.llama 3.1, 3.2 / LLM최적화등. 

학습 시작하면 wandb: Paste an API key from your profile and hit enter, or press ctrl+c to quit: 하고 입력을 기다리네요. 어떤 것을 입력해야 하나요?