혹시 이론강의 자료도 공유가 가능하실까요?

안녕하세요~이론 강의 자료는 각 섹션의 소개 영상 (첫 번째 강의)에서 다운로드 받을 수 있습니다!

[Sec. 2-8 실전] weight 곱의 위치

안녕하세요!답변이 늦어져서 죄송합니다 ㅠㅠ아래 인프런 AI 인턴의 답변이 맞습니다!

[sec. 2-8 실습] 배치사이즈의 선택

안녕하세요!답변이 늦어져서 죄송합니다 ㅠㅠ네 아래 인프런 AI 인턴의 답변이 맞습니다!

[section 14 / [실습] 직접 만든 CNN 모델과 ResNet, VGGNet을 활용한 CV 프로젝트] transforms.Normalize 질문

안녕하세요!좋은 질문 감사합니다!mean과 std에 들어가있는 값들은 0~1 사이로 normalize (정규화)된 CIFAR 데이터셋의 각 채널별 평균과 표준편차 값들 입니다! 이미 계산되어 있는 값을 가져와서 사용한 것입니다.저희는 0~1 사이로 CIFAR 데이터셋을 정규화한 후, 정규화된 데이터셋이 평균이 0이 되고 표준편차가 1이 되도록 standardize (표준화)하고 싶습니다. 따라서 (X - mean) / std 로 각 채널별로 표준화하는 것입니다! (사진)

[section 14 / VGGNet ] receptive filed 질문

안녕하세요!변정현입니다.강의 자료에 오타가 있었네요. 죄송합니다.네 맞습니다! (3,3) conv layer 2개의 경우는 Receptive Field가 (5, 5)가 되는 것이 맞습니다!82 페이지는 다음과 같이 수정됩니다. 좋은 지적 감사합니다!(사진)

[섹션3, PyTorch로 구현해보는 Loss Function] 분류task loss함수 질문입니다.

안녕하세요좋은 질문 감사합니다!네 결론부터 말씀드리자면, nn.BCELoss와 nn.BCEWithLogitsLoss 모두 다중 분류 문제의 Loss 함수로 사용해도 괜찮습니다!제 실습 강의에서도 class 개수가 10인 예제를 사용해서 nn.BCELos와 nn.BCEWithLogitsLoss을 적용하였습니다.다만 주의할 점은 nn.BCELoss에서는 Ground Truth 값이 (batch_size, n_class) 크기의 one-hot-vector 로 입력되어야 한다는 것입니다.즉, nn.BCELoss에서는 모델이 예측한 확률값과 실제 정답(One-Hot Vector) 간의 비교가 이루어집니다.예를 들어, 클래스 개수가 3개이고, 하나의 데이터 샘플이 있다고 가정해보겠습니다.모델의 예측값: [0.8, 0.1, 0.1] (각 클래스에 대한 예측 확률)정답(One-Hot Vector): [1, 0, 0]이 경우, 첫 번째 클래스(0.8 vs 1), 두 번째 클래스(0.1 vs 0), 세 번째 클래스(0.1 vs 0) 이렇게 개별적으로 비교하면서 Binary Cross Entropy를 계산합니다.즉, 각 클래스마다 독립적으로 이진 분류 문제를 수행하는 것처럼 작동한다고 보면 됩니다!nn.BCEWithLogitsLoss도 기본적인 개념은 같습니다. 다만, sigmoid 활성화 함수를 내부적으로 포함하고 있어서 모델의 출력값을 바로 넣어도 된다는 차이가 있습니다. (nn.BCELoss는 예측값을 먼저 sigmoid를 거쳐야 합니다.)정리해보자면:nn.BCELoss & nn.BCEWithLogitsLoss → 다중 분류 문제에서도 사용 가능!다만, nn.BCELoss를 사용할 때는 정답 데이터를 One-Hot Vector 형태로 만들어야 함각 클래스별로 개별적으로 확률값을 비교하는 방식이라 생각하면 이해하기 쉬움BCEWithLogitsLoss는 sigmoid가 포함되어 있어 추가 변환 없이 사용 가능(사진)

KL Div Loss에서 Negative Entropy를 더해주는 의미에 대해서

안녕하세요 변정현입니다!좋은 질문 감사합니다!첫번째로는, KL Div. Loss에서 Negative Entropy가 모델의 성능과 관계없다고 보기는 어렵습니다.Negative Entropy가 높을수록 학습 데이터셋의 난이도가 낮고, 반대로 낮을수록 학습 데이터셋의 난이도가 높다고 볼 수 있습니다.만약에 KL Div Loss와 CE Loss을 Gradient Descent을 위한 손실함수로서가 아니라 모델 성능 평가 지표로 활용하는 경우를 예시로 들어보겠습니다. 그런 경우에는 "데이터셋의 난이도도 고려해서 모델이 얼마나 잘 맞추는가"의 측면에서 모델의 성능을 평가하고 싶으면 KL Div. Loss을 사용해 볼 수 있습니다. 반면에 "데이터셋의 난이도와 상관없이 모델이 얼마나 잘 맞추는가"의 측면에서 모델의 성능을 평가하고 싶으면 Cross Entropy Loss을 사용할 수 있는 것입니다.하지만, Negative Entropy 값이 모델의 parameter에 독립적인 값입니다. 따라서 모델의 parameter에 대한 Gradient (경사)를 계산하게 되면 0이 됩니다. 따라서 Gradient Descent에서는 KL Div. Loss와 CE Loss은 둘 다 똑같은 Gradient을 가지게 되는 것이고 Gradient Descent 관점에서는 Negative Entropy 값은 영향을 주지 않는 것입니다.따라서 만약에 Negative Entropy 값도 활용하고 싶다면, 해당 값에 비례한 Learning Rate을 Gradient step에 곱해주는 방식으로 Gradient Descent 알고리즘을 수정해 볼 수도 있습니다!

GoogleNet Inception 모듈

안녕하세요!Inception Block을 구성하는 각 Conv2d, MaxPool2d은 입력되는 Feature 크기와 출력되는 Feature 크기가 동일하도록 Kernel Size, Stride, Padding이 설정되어 있습니다MaxPool2d의 Kernel Size = 3, Stride =1, Padding=1Conv2d의 Kernel Size = 3, Stride =1, Padding=1으로 구성되어 있습니다!따라서 Concatenation하게되는 Conv2d가 출력하는 Feature의 shape과 MaxPool2d가 출력하는 Feature의 shape들은 서로 동일한 것입니다.아래는 Inception3a Layer의 예시를 가져온 것입니다!(사진)

Batch Normalization 효과

안녕하세요!좋은 질문 감사합니다!개인적인 사정으로 답변이 많이 늦어져서 죄송합니다 ㅠㅠ아래에 첨부한 설명 참고 부탁드립니다!(사진)(사진)(사진)(사진)(사진)(사진)(사진)(사진)

Layer Norm이 언어모델에 적합한 이유

안녕하세요 좋은 질문 감사합니다!여러 이유가 있지만 Batch Norm 대신에 Layer Norm을 NLP나 Sequence 데이터셋 모델링에서 사용하는 가장 큰 이유는 Batch Norm은 Batch을 묶어서 평균을 내는데 NLP에서는 문장의 길이가 가변적이기 때문입니다.따라서 평균 혹은 표준편차를 계산할때, 분모로 나눠줘야 하는 N을 mini-batch을 구성하는 문장들 중에서 어떤 문장의 길이를 기준으로 설정할 것인가가 명확하지 않습니다.부연 설명 드리자면, Normalization을 하기 위해서 평균 = sum(x_i) / N, 표준편차 = sqrt ( sum(x_i - 평균)^2 / N )에 대한 계산이 필요한데, Batch-Norm을 Mini-Batch을 통틀어서 평균과 표준편차를 계산합니다.따라서 길이가 가장 긴 문장의 길이를 N으로 둬서 평균과 표준편차를 계산한다고 가정하면, 동일한 데이터 샘플에 대해서도 해당 데이터 샘플이 속해있는 mini-batch에서 가장 긴 문장의 길이 N이 다르면 계산되는 평균과 표준편차 값도 달라지는 문제가 있습니다.하지만 Layer Norm은 각 데이터 샘플에 대해서 개별적으로 평균과 표준편차가 계산되므로 해당 문제를 겪지 않게 되는 셈입니다.글로 이해하는데 헷갈릴 수 있으므로, 첨부한 이미지도 참고부탁드립니다!(사진)