안녕하세요.7:13에 맨 오른쪽아래에 XN(t+1)에서 M인데 N으로 오타가 있습니다.

안녕하세요 변정현 강사님.강의 잘 듣고있습니다. 실습 수업 때는 주피터 노트북 형식으로 강의자료 다운로드가 가능한데, 혹시 이론강의 자료도 공유가 가능하신가해서 질문을 드립니다. 내용만 볼수있으면 pdf형식이나 워터마크가 추가되어도 크게 문제가 없을것 같은데, 혹시 가능하실까요?

안녕하세요 질문이 있습니다.Multi-Hed Attention 에서 여러개의 Q,K,V 벡터들을 학습시켜 Concat 시키는데 1. 이 경우에는 어떤식으로 Concat이 되나요?이렇게 Concat이 되게되면 값이 증폭하는 일이 생기지 않나요>?

강의에 나오는 내용과 교재 내용의 차이가 있습니다.교재 최신화 부탁드립니다.

안녕하세요. 좋은 강의 잘 듣고 있습니다. 반복해서 여러 차례 들을 수 있어서 정말 좋습니다. 조금 기초적인 질문인가 싶은데요. 아래 이미지에서 질문이 있습니다.맨 아래 셀의 코드 x = torch.rand(8, 128)에서 배치 사이즈를 8로 정하는 이유를 질문드립니다.in feature가 128이고, out feature가 64라서 대략 2의 배수가 선택된 것인가 추측합니다. 다음 시리즈 기다리고 있습니다. 감사합니다.

안녕하세요 colab 실습 강좌를 보고 따라하고 있는중 에러가 나서 질문드립니다.모델을 로딩하고 , 토크나이저 초기화 및 설정, 새로운 토큰 추가 및 모델의 임베딩 크기 조절 과채팅 템플릿 적용 peft 모델 가져오기 까지는 잘 진행되었습니다.trainer = SFTTrainer 생성 부분에서 tokenizer,max_seq_length, neftune_noise_alpha 인자 설정 시 에러가 발생합니다.이부분을 주석으로 처리하면 생성은 되나 정상적으로 학습이 수행되지 않습니다.오류 화면을 첨부합니다. 답변 주시면 감사합니다!

프로젝트에서 감성 분석과 주제 찾는 작업이 필요합니다.주제 찾기는 강의를 통해 배울수 있을거 같은데요 감성 분석은 어떤것을 공부하면 좋을까요?

cifar10 데이터셋에 대하여 Normalize를 적용하는 이유가 궁금합니다.mean과 std 리스트에 들어있는 값의 의미가 무엇인가요?이미 ToTensor()로 0~1값의 스케일링 된 데이터를, 표준화까지 적용하여 평균0, 분산 1로 만드는데 장점이 있는건가요??normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) def get_dataloaders(): train_data = torchvision.datasets.CIFAR10( root="../.cache", train=True, download=True, transform=transforms.Compose([torchvision.transforms.ToTensor(), normalize]), )

안녕하세요. 항상 강의 잘 듣고 있습니다. 감사합니다. 다름이 아니라 section14. vggnet 강의를 듣던 중 receptive field에 대해 의문이 생겨 질문하게 되었습니다. 교안 82페이지에 (3,3) conv layer 2개를 쌓으면 receptive field가 (5,5)가 아니라 왜 (7,7)이 되는 것인지 궁금합니다.(1,1) 픽셀이 직전 에 (3,3)에서 왔고, (3,3)은 직전 (5,5)에서 convolution 연산으로 오는 것이 아닌가요?

class Encoder(tf.keras.layers.Layer): def __init__(self, num_layers, d_model, num_heads, dff, input_vocab_size, maximum_position_encoding, rate=0.1): super(Encoder, self).__init__() self.d_model = d_model self.num_layers = num_layers self.embedding = tf.keras.layers.Embedding(input_vocab_size, d_model) self.pos_encoding = positional_encoding(maximum_position_encoding, self.d_model) self.enc_layers = [EncoderLayer(d_model, num_heads, dff, rate) for _ in range(num_layers)] self.dropout = tf.keras.layers.Dropout(rate) def call(self, x, training, mask): seq_len = tf.shape(x)[1] # adding embedding and position encoding. x = self.embedding(x) # (batch_size, input_seq_len, d_model) x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32)) x += self.pos_encoding[:, :seq_len, :] x = self.dropout(x, training=training) for i in range(self.num_layers): x = self.enc_layers[i](x, training, mask) return x # (batch_size, input_seq_len, d_model)위와 같이 클래스 인코더가 정의 되어있고아래와 같이 테스트를 진행했습니다오류가 발생하여 [training=False, mask=None] 으로 수정하여 진행을 해도 같은 오류가 발생합니다.sample_encoder = Encoder(num_layers=2, d_model=512, num_heads=8, dff=2048, input_vocab_size=8500, maximum_position_encoding=10000) temp_input = tf.random.uniform((64, 62), dtype=tf.int64, minval=0, maxval=200) sample_encoder_output = sample_encoder(temp_input, training=False, mask=None) print(sample_encoder_output.shape) # (batch_size, input_seq_len, d_model) 오류내용ValueError: Exception encountered when calling Encoder.call(). Only input tensors may be passed as positional arguments. The following argument value should be passed as a keyword argument: False (of type <class 'bool'>) Arguments received by Encoder.call(): • x=tf.Tensor(shape=(64, 62), dtype=int64) • training=False • mask=None문제가 무엇일까요 ㅜㅠ 

좋은 강의 정말 잘 듣고있습니다. 항상 감사합니다.다름이 아니라 nn.BCEloss 나 nn.BCEWithLogitsLoss에서 이름에 B(Binary)가 들어가 이진분류 문제에 사용하는 함수인가 싶었는데, 실습 강의때 처럼 다중 분류 문제의 loss 함수로 사용해도 괜찮은 것인지 여쭙고 싶습니다.generate_onehot 함수는 클래스가 10개인 다중분류 데이터를 생성합니다.batch_size = 16 n_class=10 def generate_onehot(batch_size=16, n_class=10): pred = torch.nn.Softmax()(torch.rand(batch_size, n_class)) gt = torch.rand(batch_size, n_class) gt = torch.tensor(gt == torch.max(gt, dim=1, keepdim=True)[0]).float() # convert to onehot return pred, gt

안녕하세요 강사님,수업자료를 다운로드하려고 하는데 이론 슬라이드 다운로드 링크 연결이 안됩니다.bitly 시스템에서 블락되었다고 뜨는데 확인부탁드려요.

self-attention에 등장하는 Wq, Wk, Wv weight matrix들에 대한 학습과정 질문입니다. attention score계산 시 query vector에 대해(예를들어 강의에서 설명하신 student vector) key vector들(am, a, student 벡터)의 attention score가 낮게 나온다면, 그게 loss가 되는건가요? 예를들어, Wq, Wk, Wv weight들이 충분히 학습되지 않았을 때를 생각해보면, "I" vector가 Query vector일 때, "student" key vector의 attention score가 가장 높게 나오지 않고 "am" key vector와 attention score가 가장 높게 나올 경우엔 loss가 발생하고 "student" key vector와의 score가 높게 나오도록 Wq, Wk, Wv가 업데이트 된다고 이해하면 될까요?(I와 student는 word embedding에 의해 유사성이 있다고 판단하고)

안녕하세요 선생님강의 잘 보고 있습니다구글넷의 인셉션 모듈 설명 중에 MAX pooling이 포함되어 있는데요보통 max pooling은 인풋의 사이즈를 줄이는 것으로 알고 있는데 그러면 다른 컨볼루션이 통과된 아웃풋과 사이즈가 달라져서 concat이 안되는 거 아닌가요?아니면 여기에 포함된 컨볼루션들은 max pooling과 같은 stride를 같는 걸까요?

안녕하세요.모두의 한국어 텍스트 분석과 자연어처리 with 파이썬위 과정을 수강중에 있는데요.. 섹션 3부터 재생이 안됩니다..

안녕하세요 선생님강의 정말 잘 보고 있고요제 많은 질문들에도 너무 성심성의껏 답변 달아주셔서 감사합니다 ㅎㅎBatchNorm이 설계된 의도는 internal covariate shift를 해결하기 위해 제안되었다는 것은 이해했습니다.하지만 실제로는 그렇지 않고 optimization surface를 매끄럽게 해서 학습이 잘된다라고 설명하신 것까지 들었습니다.제가 이해한 바로는 활성화 함수에 들어가는 입력의 분포를 조정해서 학습이 잘되는 위치? 분포를 학습하는 것으로 이해했는데요(sigmoid로 예시를 든다면 더 이상 업데이트가 되지 않아도 될 정도라면 기울기가 saturate되는 부분으로 혹은 업데이트가 많이 되어야 한다면 0부근으로 이동시키는 등의) 정확히 어떤 원인에 의해 surface가 매끄러워지는 효과를 가지게 되는 것인지 궁금합니다..!

안녕하세요 선생님강의 정말 잘 보고 있습니다.Layer Normalization을 보는 중에 입력 데이터를 Normalization하는 것을 통해 scale이나 shift에 robust하게 되는 것까진 이해했습니다.이런 효과가 왜 이미지보다 언어 모델에 더욱 효과적인지 이유를 알 수 있을까요?

여기서 네트워크를 구성할 때 맨 마지막에 sigmoid를 태운 후에 마지막에 또 Softmax를 태우는데, 이렇게 할 거면 애초부터 네트워크의 마지막단을 sigmoid가 아닌 softmax를 태우면 되는 거 아닌가요?왜 sigmoid를 거친 후에 softmax를 태워야 하는 것인지 알 수 있을까요?

코랩 프로 플러스를 사용하고 있는 수강생입니다. 먼저 cloudflare를 다운받습니다. 이후  !pip install colab-ssh --upgrade from colab_ssh import launch_ssh_cloudflared, init_git_cloudflared launch_ssh_cloudflared(password='임의로 설정') # password는 임의로 설정 이걸 코랩 노트북에 작성해놓습니다. 그리고 vscode에서 ssh.config에 다음 사항을 작성해놓습니다.Host *.trycloudflare.com HostName %h User root Port 22 ProxyCommand C:\Program Files (x86)\cloudflared\cloudflared.exe access ssh --hostname %h 그 이후에 ssh로 접속해서 vscode에서 구글 드라이브와 연동하여 사용하고 있습니다.개인적으로 gpu 작업이 필요할 때 사용하는 방법이었는데, 일반적으로 많이 사용하는 방법인지 궁금합니다. gpu 자원을 갖고 있지 않아 코랩 프로 플러스를 구독하여 사용하고 있는데, 매번 작업할 때마다 환경을 조금씩 설정해줘야 하는 불편함이 있어서 코랩을 사용하려면 어쩔 수 없는 방법인지가 궁금합니다.

안녕하세요! 강사님강의 너무 잘들었습니다. 인터넷이 끊긴 폐쇄 환경에서 강의에서의 데모 버전을 구현하려고 합니다. 허깅페이스에서 모델을 다운받아서 진행하면 될까요?