[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지대시보드

강사님, 안녕하세요! 항상 좋은 강의 잘 보고 있습니다 :D4-3강 교차 검증(Cross-Validation)에서 best model을 어떻게 선정하는 것인지 조금 헷갈려 질문 드립니다.예를 들어, 본 강의에서는 3개 fold에 대해 cross-validation을 수행하고, 모델의 최종 성능은 <3개 fold의 validation loss의 평균>으로 계산되는 것으로 이해했는데요.1) 그렇다면 hyperparameter tuning 등을 통해 이 <평균 validation loss>가 가장 낮아지는 모델을 찾아야 하는 것이 맞나요? 다시 말해, 여러 번 cross-validation을 수행함으로써 가장 낮은 <평균 validation loss>를 가지는 모델을 best model로 선정하는 것이 맞는지 궁금합니다.2) 만약 맞다면, 앞선 강의들에서는 "epoch 마다" loss가 최소화되는지 확인하고 모델 save를 수행했었는데, 이제는 "CV를 수행할 때 마다" loss가 최소화되는지 확인하고 모델 save를 수행하면 되는 것이 맞나요?3) 마지막으로, 이미 학습된 결과를 바탕으로 best model을 선정했는데 왜 best model에 한 번 더 전체 trainset으로 학습을 진행해줘야 하는지 궁금합니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.강사님 안녕하세요. t-SNE 수업에 대하여 궁금한점이 있습니다.강의에서는 classification 문제에 대한 시각화를 알려 주셨는데요, 혹시 regression 에 대해서도 t-SNE를 적용할 수 있을지 궁금합니다. 만약 불가능 하다면, t-SNE 이외에 활용할 수 있는 다른 방법이 있을지 궁금합니다.

강사님 안녕하세요. test loss 및 validation loss 관련하여 질문드립니다.  train loss와 validation loss 플랏을 보고, 이 모델이 잘 학습이 되었는지 어떻게 판단해야 하는지가 궁금하여 질문드리게 되었습니다.강의 코드를 활용하여 학습하고자 하는 데이터에 적용해 보았습니다. 같은 데이터여도, 모델을 어떻게 구성하는지에 따라 에폭에 따른 loss 값이 큰 차이를 보였습니다. Case 1) 초기 epoch의 validation loss가 train loss보다 낮은 경우Case 2 ) validation loss와 train loss의 차이가 큰 경우Case 3) Validation loss가 감소하는 형태를 띄나, 크게 fluctuation 할 경우Case 4) Validation loss가 크게 fluctuation하며, 감소하는 형태가 아닌 경우 (증가 -> 감소)말씀드린 4가지 case 경우 모두, 최종적으로 loss 값 자체는 낮게 나왔습니다.하지만 제가 이상적이라고 생각한 loss 곡선에는 모두 벗어나는것 같아서, 위 형태들도 학습이 잘 되었다고 판단할 수 있을지 궁금하여 질문드립니다! 감사합니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. if val_loss < early_stopping_loss: torch.save(resnet.state_dict(), PATH) early_stopping_train_loss = train_loss early_stopping_val_loss = val_loss early_stopping_epoch = epoch 강사님 안녕하세요.위 코드에 궁금한 점이 있어서 질문드립니다.위 코드의 4번째 줄에서 아래와 같이 early_stopping_loss 변수를 업데이트 해줘야 하는게 아닌지 궁금합니다.early_stopping_loss = val_loss지금 코드 상으로는 early_stopping_loss가 업데이트 되는 부분이 없어보여서요. 지금 코드로는 모든 epoch에서 if 문에 들어가는것이 아닐지 질문드립니다! 감사합니다. 

예측 그래프가 이렇게 나오는데, 뭐가 문제인지를 모르겠어요... 도와주세요...

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 데이터 불균형 수업 관련하여 질문드립니다. 수업중에 알려주신 예시는 classification 문제에서의 데이터 불균형 해결 방법을 알려주셨는데요,혹시 regression 문제에서도 데이터 불균형 해결이 필요한것이 맞을까요? (예를들어 신장(키) 학습 시 평균 키를 가지는 샘플이 많은 경우) regression 문제에서 데이터 불균형이 있을 경우, 어떤 방법으로 해결할 수 있을지 궁금합니다!감사합니다.

전이 학습을 하겠다는것은 이전에 학습한 weight를 이용하겠다는 의미로 알고 있는데요 맨앞에 있는 conv1을 수정하게 되면 모델 파라메터랑 weight랑 안맞지 않나요? 그리고 동결 시키지 않으면 결국 기존 weight를 무시하고 처음부터 다시 학습 할꺼같은데 해당 예제에서 어떻게 기존 weight를 활용하게 되는것인지 궁금합니다.

cnn에서는 다음과 같이 dataloader로 부터 얻은 data를 gpu로 변경 했습니다. seq, target = data[0].to(device),data[1].to(device),하지만 RNN에서는 다음과 같이 cpu로 처리 합니다. 이유가 무엇 인가요?? seq, target = data 

안녕하세요! 수업중 궁금한 부분이 있어 문의 드립니다.  self.encoder = nn.Sequential( nn.Conv2d(1, k, 3, stride=2), # 흑백 이미지로 체널이 1개, 나머지는 임의로 설정 nn.ReLU(), nn.Conv2d(k, 2*k, 3, stride=2), nn.ReLU(), nn.Conv2d(2*k, 4*k, 3, stride=1), nn.ReLU(), Flatten(), nn.Linear(1024, 10), nn.ReLU() nn.Linear(1024, 10) 이 부분에서, MNIST의 경우 미리 계산하면 1024가 나온다고 말씀 주셨는데요, 어떻게 계산해야 하는건지 알 수 있을까요? 또한, 이 수치를 코드 작성자가 꼭 계산해서 넣어줘야 하는지도 궁금합니다! 크기(1024)를 코드로 출력해서 확인해 보는 방법이나, 저 부분에 1024 크기가 계산되어 들어가도록 코드를 작성할 수도 있을까요?

학습 할때는 MSE를 쓰고 평가 할때는 RMSE를 쓰는 이유가 있을까요??

Detection 모델 같은 경우에는 라벨에 좌표가 들어 있습니다.Transform을 통해서 crop이나 rotate 같은 행위를 했을때 좌표도 변경이 되어야 하는데요 이런경우에 대한 해결책도 torch가 제공을 해주나요?

안녕하세요 강사님 ㅎㅎ사실 인공지능 쪽 열심히 공부하려고 강사님의 강의 거의 전부를 구매해서 듣고 있는 학생입니다. 요새 고민이 있어서 질문을 드립니다.. ㅎㅎ  저는 요새 최신논문 모델 구현 같은 경우 턱턱 막히는 부분도 많아서.. 그부분에서 실력의 한계를 많이 느끼는데요..실력을 기르기 위해서 그저 막연하게 캐글 competition expert가 되면 되지 않을까? 생각해서 일단 달성해보자 생각하면서 캐글팁이나 노하우 이런거 공부하고 EDA 스크립트나 common.py 같은 걸 만들며 최근 도전하는 중입니다.    혹시 강사님은 데이터엔지니어의 역량을 기르기 위한 로드맵이나 루틴이 있으신지, 만약 있으시다면 어떤 것들이 있는지 살짝 공유가능하실까요?  감사합니다.

안녕하세요, 섹션2의 역전파 수업을 듣다가 궁금한 점이 생겨서 질문 드립니다.  5분 30초에서 L을 zi에 대해서 미분하면 n분의 1이 된다고 하셨는데 그 이유가 i번째 엘리멘트만 고려해서 미분이 되기 때문인가요? 즉, 1/n*zi라서 미분값이 1/n인건지 궁금합니다!

커널 사이즈의 의미가 먼가요?커널 사이즈를 input size에 맞게 대략 어림잡아 pre-trained 모델 (7, 7) -> (3, 3)으로 바꾸면 되는건가요?예를들어, (2, 2) 로 바꾸는 것과 어떤 차이가 있을까요?

안녕하세요. 강의 잘 듣고있습니다.질문은 여기서 16*5*5가 5*5피쳐맵 16개라는데5*5피쳐맵이 갑자기 어디서 나온건가요?앞의 conv2d에서의 필터크기가 5*5여서 5*5피쳐맵이 생성된건가요?

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. tr.RandomRotation(10, resample=PIL.Image.BILINEAR),이 부분에서 RandomRotation.__init__() got an unexpected keyword argument 'resample'이런 TypeError 가 발생을 하는데 원인을 잘 모르겠습니다.

안녕하세요. 강의 잘 듣고있습니다. 다만 질문이 몇가지 있는데요. 3장 데이터 불러오기를 보던 중 LinearTensor를 정의하는 이유가 궁금합니다. ToTensor로만 해주면 되는 것 아닌가 하는 생각이 드는데, ToTensor() 이후 LinearTensor(2,5)를 해주는 이유가 무엇인가요??LinearTensor에서 init함수와 call함수가 같이 있는데 LinearTensor(2,5)와 같이 호출하면 객체를 만드는 것이니 init을 해주는건가요? 그렇다면 call은 어느 경우에 사용하게 될까요?? 이론적으로는 init을 객체생성, call을 클래스를 함수 그자체로 사용. 하는 경우에 쓰는 것을 알고있으나 pytorch에서 실제 사용예시가 어떻게 다른지가 궁금합니다.감사합니다.

어제 질문 답변 감사드립니다! 궁금한게 해결되었습니다..ㅎ오늘도 질문이 좀 있어서 여쭤보고 싶습니다..! 혹시 augmentation을 한 뒤에 데이터셋을 저장하는 코드를 알 수 있을까요?예를 들어, 1000개의 이미지 데이터가 train_set에 있고, DataLoader에서 transform을 통해 이 1000개를 변형해가며 로드할텐데, 이 로드한 데이터들을 저장하고 싶습니다!다양한 augmentation을 통해서 기존 데이터의 3배정도인 3000개의 변형 데이터들을 저장하고 싶은데 코드를 어떻게 짜야할지 모르겠어서 질문드립니다. 요즘 예전 대회들에 있었던 불균형 이미지 데이터 분류를 연습하고 있는 중인데, 라벨이 총 10개에 어떤 라벨에는 데이터가 600개 가까이 되고, 어떤 라벨에는 데이터가 10개도 안되는 경우들이 있는 불균형이 매우 심한 데이터들입니다. 이 불균형을 weightedrandomsampler에 augmentation을 활용하여 불균형을 해소하고자 하였습니다. validation용으로 원본데이터에서 30%만큼 지정을 해 둔 뒤, train용으로 원본데이터를 weightedrandomsampler를 활용해 원본데이터를 변형하고 가중치를 주어 데이터가 적은 라벨의 데이터를 늘려 학습했습니다. 그 뒤에 아까 분리해 놓았던 validation데이터를 분류했습니다만... 평가기준인 weighted F1 score가 생각보다 낮게 나와서 고민입니다.. 제 생각에는 결국 validation 데이터에는 여전히 라벨별로 불균형이 매우 심한 상태이므로 라벨별로 동등한 양의 데이터로 학습한 모델에서는 제대로 예측을 못한것이 아닐까합니다. 그래서 위에서 질문한 코드를 통해 변형된 데이터에 원본 데이터를 합쳐서 학습을 시키고, 그 다음에 validation을 하면 약간은 나아질까 하는 생각이 듭니다만.. 호형님이라면 어떻게 하실지 궁금해서 여쭤봅니다. 질문이 너무 길고 장황해서 죄송합니다..ㅜ

imbalanced data를 처리할 때, weightedrandomsampler (replacement=True) 와 augmentation을 통해 불균형을 해소하고자 하는데, weightedrandomsampler에 있는 num_samples 파라미터에 관해 궁금한점이 있어서 질문드립니다. weightedrandomsampler가 작동하는 방법이, 샘플마다 가중치를 줘서 데이터 수가 적은 라벨에서는 더 높은 확률로 뽑히고, 데이터 수가 많은 라벨에서는 더 낮은 확률로 뽑혀서 결국 확률상 거의 같은 확률로 뽑도록 만들어서 불균형을 해소하는 걸로 알고 있습니다.이때, 만약 num_samples를 그냥 원래 train_sets의 길이로 지정을 하면 데이터가 적은 라벨에서는 augmentation을 통해 이미지를 변형해가며 오버샘플링이 된 것 처럼 샘플수가 증가되겠지만, 반대로 원래 데이터가 많던 라벨에서는 기존에 있던 데이터들에서 일부는 뽑히지 않을 수도 있지 않나요?예를들어 (1000,200,100)의 불균형 데이터가 있다고 했을때, 전체 데이터의 개수인 1300만큼 weightedrandomsampler에서 num_samples=1300으로 하고 추출을 한다면, 라벨별로 1300/3 = 433개씩 뽑힐텐데, 이러면 첫번째 라벨의 데이터는 1000개에서 433개를 뺀 567개는 그대로 누락되는건가요?만약 그렇다면 num_samples를 더 큰 숫자로 해서 가지고 있는 데이터를 전부 불러오려고 한다면, 소수의 데이터를 너무 많이 재활용해서 과적합이 될까요? 

코랩 실행시 에러메시지가 자주 뜹니다 ㅠㅠ가령 보스턴 집값 예측하기(4-1)강의를 수강 중인데첫줄부터 실행을 누르면 아래와 같이 에러메시지가 뜨고,하위 코드도 전부 에러가 뜹니다. [Errno 2] No such file or directory: '/content/gdrive/My Drive/deeplearningbro/pytorch' /content