경사하강법에서 다중레이어에서의 가중치를 구할 때 식이 이해가 가질 않습니다 ㅠ.ㅠ

안녕하세요. 미분의 연쇄 법칙에 대해 질문주셨는데요. 분수처럼 약분하는 식으로 연쇄법칙을 계산하시거나 읽으면 안 됩니다. 만약 y=f(v,w), v=g(x), w=h(x)라면 다변수 함수의 연쇄법칙에 의해 ∂ y/ ∂ x= ∂f/∂v ∂g/∂x + ∂f/∂w ∂h/∂x 가 됩니다 :) 감사합니다.

4-3강 cross-validation에서의 best model 선정 기준

안녕하세요. 좋은 질문입니다! 이해하신 부분이 맞습니다. 평균값을 기준으로 베스트 모델을 정합니다. 에폭마다 loss를 확인하는 것은 학습 중 최적이라고 여겨지는 모델을 저장하기 위한 것입니다. 그런데 여기서 저장이라는 것은 단지 평균값을 산출하기 위한 기록일 뿐입니다. 모든 모델 평가는 평균값으로 보시면 됩니다. 교차검증은 모델 학습이 아닙니다. 말그대로 모델 설계 단계에서 테스트셋을 사용하지 않고 모델을 검증하는 것입니다. 따라서 교차 검증을 통해 모델을 선택하고 학습데이터로 선택 된 모델을 학습해서 테스트셋으로 최종 평가를 하게 됩니다!! 감사합니다.

경우에 따른 최적의 활성화 함수 선정하는 방법

안녕하세요! 활성화 함수를 고를 때 보통 세가지 경우를 생각해볼 수 있는데요. 일반적으로는 ReLU계열과 같이 대중적으로 사용하는 활성화 함수를 사용합니다. 활성화 함수 여러개를 비교합니다. 말씀하신 것처럼 모든 함수를 실험 해보지는 않고 레퍼런스들을 참고하거나 대중적인 것들을 고릅니다. 또한 본인의 기준이 있을 수도 있습니다. 어떤 조건에 의해 특정 값의 범위를 얻어야 하는 경우나 이론 등 특정 성질을 유지하기 위해 특정 함수를 사용해야 할 때가 있습니다. 이 때 만족하는 함수가 없으면 새로운 함수를 만들거나 기존의 함수를 튜닝해서 사용합니다. 또한 적용 위치를 바꾸기도 합니다. 딥러닝호형 드림

regression 문제에 대한 결과 시각화

안녕하세요. t-SNE는 차원 축소 기법이기 때문에 분류 문제인지 회귀 문제인지는 상관 없이 고차원 데이터를 저차원으로 만들어 줍니다. 다른 방법으로는 PCA가 많이 사용됩니다. 그런데 regression 문제에서 어느 부분에 적용 하시려는 것인가요? 감사합니다.

Loss function 관련하여 질문드립니다.

안녕하세요. 먼저 모델 평가 및 개선은 종합적으로 봐야하기 때문에 손실 그래프로만으로 정확한 판단은 힘듭니다. 다만 그래프로만 봤을 때 4개 모두 학습은 잘 된 것으로 보여지고요. 학습 결과는 1,2는 오버피팅이고 3,4번이 좋다고 말할 수 있겠네요. 3,4번에서 발생되는 초반 변동은 초반에 모델 학습에 필요한 데이터가 충분하지 않아서 그럴 수도 있고요. 모델 파라메터 초기값 혹는 학습률의 문제 일 수도 있습니다. 또 다른 이유가 있을 수도 있고요. 따라서 일단 학습데이터 data split 비율을 높인다거나 모델 파라메터의 initialization 기법을 적용하거나 학습률을 좀 줄여보거나 할 수 있을 것 같습니다! 감사합니다.