안녕하세요. Upstream Gradient와 Local Gradient를 제대로 이해했는지 몰라 질문드립니다.세터1의 가중치를 업데이트하려고 할 때Local Gradient는 구하고자 하는 가중치(세터1)가 직접 곱해지는 레이어의 gradient를 가리키는 것이고Upstream Gradient는 세터1이 직접 곱해지는 레이어 이전까지(역방항기준) 모든 레이어의 gradient를 가리키는 것이 맞나요? 상세하고 명쾌한 강의 감사드립니다.

강의자료를 크리애플 홈페이지에서 찾을 수 없네요..강의자료를 받을 수 있는 곳을 상세히 설명해주세요..강의자료를 받을 수 있는 페이지 링크라도 달아주세요..IOT 라즈베리파이 관련 강의자료 부탁합니다..

안녕하세요 교수님!섹션 2의 딥러닝 모델에서 활성화 함수의 적용 강의에서 의문점이 생겨서 작성합니다.Sigmoid 함수의 특성에서 평균값이 0.5, 즉 0이 아니라서 Gradient Update가 지그재그 형태로 발생한다고 하셨는데.. 이 부분이 이해가 잘 되지 않습니다.입력값의 크기가 양으로 크거나 음으로 클 때 기울기가 0에 가까워서 Gradient Update가 적어진다는 것은 알겠습니다. 하지만 입력값을 넣었을 때의 시그모이드 출력값의 평균과 Gradient Update가 어떤 관계인지가 이해가 되지 않습니다ㅜ시그모이드를 미분한 함수가 시그모이드 출력값을 입력값으로 넣는게 아닌데... 왜 지그재그로 발생하는 것인가요.....?감사합니다!

코랩에서 import gluonnlp as nlp을 실행하면자꾸 이렇게 뜨는데해결방법이 있을까요??

9분 20초쯤에 indices = torch.randperm(x.size(0)) print(indices) x_batch_list = torch.index_select(x, 0, index=indices) y_batch_list = torch.index_select(y, 0, index=indices) indices를 랜덤한 순서로 넣었다고 하셨는데그리고x_batch_list = torch.index_select(x, 0, index=indices) 이걸사용하는 이유가뭔가요?어차피 지금 랜덤하게 바뀐순서라면x_batch_list = x[indices] 이걸통해서 바로 넣어도 되는게 아닌가요?  torch.index_select 이건 인덱스로 원하는 데이터만 선택적으로 추출하기에 적합하다고 알고있습니다. 이번에 굳이 x_batch_list = x[indices] 이게아닌 x_batch_list = torch.index_select(x, 0, index=indices) 이걸 사용한 이유를 알고 싶습니다.제가 아는것이 전부가 아닌 또다른게 있는가해서요

동일한 best-seller 모델로train, test 데이터셋으로 split 하기 전에는 정확도가 0.99xxx 였는데, split 하면 1.02xx로 1을 넘어서는 이유는 무엇인가요?  0.99는 99%정확도라는 의미로 알고 있는데, 1.02는 102%라는 의미인지 아니면 1.02%라는 의미인지 헷갈립니다. 그리고 dataset 을 split해서 score 매기면 정확도는 당연히 떨어지는게 맞는거죠?

5분 50초쯤에data1 = torch.FloatTensor([1,2]) # 1,2 원소를 가진 1D 텐서 선언이걸 가르키면서 정확히 말하면 2차원 벡터라고 말씀하셨는데 그럼 data1 = torch.FloatTensor([1,2,3,4])print(data1)tensor([1., 2. ,3., 4.])이렇게 된다면 4차원이 되는건가요? 다른 블로그나 구글링을 해보면2. 벡터(1D Tensor)숫자들의 배열을 벡터라고 하며 1차원 텐서라고 한다.벡터의 축의 개수는 1개이다.vector = np.array([1, 2, 3, 4, 5]) print(vector) print(vector.ndim) print(vector.shape)[1 2 3 4 5] 1 (5,)이렇게 말하고 있습니다. 또 강사님의 02_tensor.md 파일을보면벡터(1D 텐서)벡터(1D 텐서): 숫자 여러 개가 특정 순서대로 모여 있는것을 의미함 (배열이라고 이해하면됨)하나의 벡터가 이루는 데이터의 갯수가 n개이면 n-차원 벡터라고함벡터는 열 벡터, 행 벡터 둘다 가리키지만, 열 벡터로 표현하는것이 일반적임이라고 하는데 갯수가 n개이면 n-차원 벡터 이말과 저위의 다른 누군가의 블로그(구글링)의 말에 혼동이 좀 생기는것 같습니다. 아마 강사님께서 차원의 대한 얘기가 혼동될 수 있다고 수차례 말씀하셨는데 이부분인가 싶기도합니다.아니면 제가 잘못 생각하고 있는부분이 있는지 알려주시면 감사하겠습니다 

 최근에 파이토치를 기반으로 한 연구가 주를 이루고 있는데, 현업에서는 텐써플로우를 애용한다고 들었습니다. 혹시 이유가 따로 있을까요?

Selective search로 영역을 추출한 다음 Feature map에 대응시켜 매핑을 하는 걸로 이해를 했습니다.근데 의문이 원본 이미지에서 뽑은 seletive search와 feature map의 영역이 매핑이 제대로 되는지 여쭙고 싶습니다.

답변 감사드립니다!강의를 통해 Head 수에 따라 다양한 영역에 대한 Attention 이 가능하다고 이해했습니다. 이에 따른 추가적인 궁금한 부분이 있습니다. (아래 질문은 배치 사이즈를 배제하고 질문드립니다.)Umsa를 통한 Linear Projection 이전의 shape는 (N x Dh x k) 이고, 이후의 shape는 (N x D)로 k가 사라져서 다양한 영역을 Attention 하고자 하는 의도가 사라지는 것 아닌지, 그렇다면 Umsa의 역할이 무엇인지 헷갈렸습니다. Umsa를 통한 Linear Projection을 진행한 후에도 다양한 영역을 Attention하고자 하는 Head의 특성이 반영되기에 상관이 없는건지 궁금합니다. Umsa도 무작위로 주어지고 학습을 통해 최적화되는 것이 맞을까요?

안녕하세요.선생님,강의 잘 듣고 있습니다. 다름이 아니오라, 현업에서 Ultralytics yolo v3 Onnx를 이용해서 Post Processing을 해보려하는데요, c++ code 참고할만한 것이 있을까요? python은 많이 봤는데 c++은 제대로 동작되는 code찾기가 어렵네요.

안녕하세요 강의 잘 듣고 있습니다.이미지 분류하는 예제를 코랩에서 실행시키는거랑 제 노트북(Apple M2 Max)에서 실행시는것과loss, acc 차이가 현격하게 나서 질의드립니다.제 노트북에서 1개 layer만 쌓으면 loss = 0.43 acc = 0.83 정도 나오는데 예제에 나와있는데로제 코드model = Sequential([# Flatten으로 shape 펼치기 Flatten(input_shape=(28, 28)),# Dense Layer Dense(1024, activation='relu'),Dense(512, activation='relu'),Dense(256, activation='relu'),Dense(128, activation='relu'),Dense(64, activation='relu'),# Classification을 위한 Softmax Dense(10, activation='softmax'),]) log1866/1875 [============================>.] - ETA: 0s - loss: 16058870784.0000 - acc: 0.4173Epoch 5: val_loss did not improve from 1235372.500001875/1875 [==============================] - 10s 5ms/step - loss: 16128512000.0000 - acc: 0.4173 - val_loss: 27540826112.0000 - val_acc: 0.4452Epoch 6/101873/1875 [============================>.] - ETA: 0s - loss: 31985911808.0000 - acc: 0.4097Epoch 6: val_loss did not improve from 1235372.500001875/1875 [==============================] - 10s 5ms/step - loss: 31981346816.0000 - acc: 0.4096 - val_loss: 40147439616.0000 - val_acc: 0.4332Epoch 7/101868/1875 [============================>.] - ETA: 0s - loss: 68022116352.0000 - acc: 0.4025Epoch 7: val_loss did not improve from 1235372.500001875/1875 [==============================] - 10s 5ms/step - loss: 68336156672.0000 - acc: 0.4022 - val_loss: 133834203136.0000 - val_acc: 0.2749Epoch 8/101869/1875 [============================>.] - ETA: 0s - loss: 137940418560.0000 - acc: 0.3955Epoch 8: val_loss did not improve from 1235372.500001875/1875 [==============================] - 10s 5ms/step - loss: 138007822336.0000 - acc: 0.3954 - val_loss: 145990402048.0000 - val_acc: 0.4383Epoch 9/101875/1875 [==============================] - ETA: 0s - loss: 287789613056.0000 - acc: 0.3829Epoch 9: val_loss did not improve from 1235372.500001875/1875 [==============================] - 10s 5ms/step - loss: 287789613056.0000 - acc: 0.3829 - val_loss: 218210779136.0000 - val_acc: 0.3401Epoch 10/101871/1875 [============================>.] - ETA: 0s - loss: 434573213696.0000 - acc: 0.3939Epoch 10: val_loss did not improve from 1235372.500001875/1875 [==============================] - 10s 5ms/step - loss: 434703597568.0000 - acc: 0.3940 - val_loss: 472388042752.0000 - val_acc: 0.3010313/313 [==============================] - 1s 3ms/step - loss: 1235372.5000 - acc: 0.6382상기 log보면 알겠지만 loss가 너무 이상합니다. 이건 뭐가 오류가 있는건지요참고로 코랩에서 돌리면 이상없습니다. 

Karas CRAFT로 한글 문장을 학습할 때 학습이 제대로 진행이 될까요 ??

Neural Style Transfer에 해당되는 강의자료 공유 부탁드립니다. 감사합니다. tae.park0302@gmaili.com

안녕하세요 강사님.Transformer 에 대해 처음 공부해보니 헷갈리는 부분들이 있어서 질문남깁니다.1) k 개의 Multi-Head를 만든 후에 Linear를 해주는 이유가 따로 있는지 궁금합니다. 단순히 Residual Connection을 위해 차원을 맞춰주기 위해 하는 것인가요??2) Head의 개수(k)는 CNN에서 필터 개수처럼 사용자가 정해주는 파라미터인가요??3) 클래스 토큰까지 Positional Embedding을 더해줘야 하는 이유가 따로 있을까요??좋은 강의 덕분에 따라가긴 하는데 한 번에 이해하려하니 과부하가 와서 헷갈리는게 생기네요ㅠㅠ코드 분석 파트 들어가면 조금 더 이해가 될 것 같은데 우선적으로 질문남겨봅니다.

저는 Mac OS로 강의를 시청하고 있어서 실습을 하는데 어려움을 겪고 있습니다.git bash를 설치하고 캐글과 연결하는 방법을 따로 알려주실 수 있나요.

저는 인공지능 관련 학과에 재학중입니다. 저학년 때 공부를 덜 해서 기초가 부족함을 느끼고 호형님 강의로 기초 공부를 하고 있는데요, 교수님께서 강의하실 때도 항상 궁금했던 건데 은닉층 사이 weight값들이 있음에도 불구하고 bias가 왜 있는건지가 궁금합니다.

논문에서 가중치 초기화를 할때, 평균은 0 이고 표준편차가 0.01이라고 하였는데 위와 같이 구현했는데, 성능이 너무 좋지 않아서요.혹시 잘못된것이 있을까요?

indexes를 이용하여 근접 이웃의 데이터의 인덱스를 받아온건 이해가 가는데왜 distances = kn_kneighbors(test_scaled[3:4]) 도 설정한건가요?

커널 사이즈의 의미가 먼가요?커널 사이즈를 input size에 맞게 대략 어림잡아 pre-trained 모델 (7, 7) -> (3, 3)으로 바꾸면 되는건가요?예를들어, (2, 2) 로 바꾸는 것과 어떤 차이가 있을까요?