묻고 답해요
164만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨강화학습 입문에서 Deep Q-learning/Policy Gradient까지
강화학습저장 및 로드
오영제 선생님 강의 잘 듣고 있고 감사드립니다.드리고 싶은 질문은 강화학습은 학습 후 훈련내용을 어떻게 저장하고 필요시 어떻게 로드하는 지 궁금하니다.
-
미해결딥러닝 CNN 완벽 가이드 - Pytorch 버전
질문있습니다.
Video recognization, action detection쪽 관심있는 학생입니다. C3D 관련 논문 공부,실현 연습하기 전에 빠르게 컴퓨터 비전 실습 이론을 익히고 체화를 하고 싶은데, 선생님 컴퓨터비전 로드맵 중 cnn강의, 컴퓨터비전 실습 강의 둘 중 어떤게 더 효율적일까요? Pytorch는 아직 미숙한 상황입니다. 만약 cnn부터 듣는걸 추천하신다면 세션 몇까지는 꼭 들어야할까요?
-
미해결대규모 언어 모델, 핵심만 빠르게!
수업 하실 때 활용하시는 강의 자료를 제공 받을 수 있는지 문의 드립니다
수업 하실 때 활용하시는 강의 자료를 제공 받을 수 있는지 문의 드립니다
-
미해결구현하며 배우는 Transformer
Embedding 모델 fine tuning 관련 질문
강사님 안녕하세요? 10년전 쯤 파이썬 머신러닝 완벽가이드, CNN 완벽가이드를 수강하고 많은 도움을 받았는데, Transformer 강의를 내셨길래 반가운 마음으로 바로 구매했습니다 ㅎㅎ 회사에서 RAG 를 종종 구현하고 있는데.. 예시로 들어주신 BERT 모델은 RAG 구현 중 리트리버에 해당한다고 이해하면 될지요? 그리고 BERT 모델을 fine tuning 하고자 한다면 pre trained 모델의 tokenizer 와 model 둘 다 불러온 후, tokenizer 의 vocab 에 mapping 되어 있는 token 들을 ids 토시하나 틀리지 않고 있는 그대로 사용하되, 사내 내부 용어만 이후 ids 에 추가해서 사용하고, model 에 몇 개의 추가 layer 를 쌓아서 fine tuning 한다면, 처음부터 학습시키는 것보다 좀 더 효율/효과적인 방안이 될 수 있을지.... 도 궁금합니다. RAG 를 구현하다보면, 외부에서 사전학습된 모델이 사내 문서의 특수한 약어나 내부 고유기술 용어를 인지하지 못해서 필요한 문서들을 못 물어 오는 경우를 가끔 보고 있어서.... 생성을 위한 LLM 모델이야 요즘 너무 첨단을 향해 가고 있는데, 리트리버 에 대한 최적화는 회사나 도메인 별로 필요한 것이 아닐까... 생각하고 있었습니다만, 제가 이해한 개념이 맞을지 문의 드려 봅니다.
-
미해결구현하며 배우는 Transformer
코드에 오타가 있는 것 같습니다
안녕하세요, 강사님 강의 열심히 잘 듣고 있습니다.visionTransformer생성 부분에서,제가 잘못 이해하였는 것일 수 있으나, class VisionTransformer(nn.Module): def init(self, img_size, patch_size, num_layers, num_heads, embed_dim, mlp_dim, attention_dropout, dropout, num_classes=1000): super().__init__() #Patch Embedding 모듈, class token, position embedding 파라미터 생성. self.patch_embedding = PatchEmbedding(img_size=img_size, in_channels=3, patch_size=patch_size, embed_dim=embed_dim) self.class_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) seq_length = (img_size // patch_size) ** 2 self.pos_embed = nn.Parameter(torch.empty(1, seq_length+1, embed_dim).normal_(std=0.02)) #Encoder 생성. self.encoder = Encoder(num_layers=num_layers, num_heads=num_heads, embed_dim=embed_dim, mlp_dim=mlp_dim, attention_dropout=attention_dropout, dropout=dropout) #최종 classification Linear Layer 생성 self.head = nn.Linear(embed_dim, num_classes) def get_patch_class_pos_embedding(self, input_tensor): patched_tensor = self.patch_embedding(input_tensor) batch_size = patched_tensor.shape[0] # batch_size 만큼 class token을 증식하고 patch embedding 된 patched_tensor의 맨 앞에 concat batch_class_token = self.class_token.expand(batch_size, -1, -1) patch_class_embed = torch.cat([batch_class_token, patched_tensor], dim=1) # position embedding을 더함. patch_class_pos_embed = patch_class_embed + self.pos_embed return patch_class_embed마지막 return 부분이 patch_class_embed가 아닌 patch_class_pos_embed로 수정되어야 할 것 같습니다. 파라미터 사이즈에는 영향이 없으나 버그가 발생할 수 있을 것 같아 이렇게 글 남깁니다. 항상 좋은 강의 감사드립니다. 혹시나 의도하신 것이라면 제가 잘못 이해한 것이니 바로 잡아주시길 바랍니다. 감사합니다.
-
미해결구현하며 배우는 Transformer
코드 오타가 있는것 같습니다.
torch.manual_seed(123) HIDDEN_SIZE = 256 NUM_HEADS = 4 DEC_Q_SEQ_LEN = 10 ENC_K_SEQ_LEN = 20 BATCH_SIZE = 2 dec_tokenizer = BertTokenizerFast.from_pretrained("klue/bert-base") dec_sentences = ["안녕하세요 여러분", "이것은 긴 문장입니다"] dec_input_ids, dec_pad_mask = get_input_ids_mask(dec_tokenizer, sentences, max_length=DEC_Q_SEQ_LEN)sentences --> dec_sentencestransformer_decoder.ipynb 사소한 것이이지만.. 좋은 강의 감사드립니다. 새해 복 많이 받으세요...
-
해결됨내가 타이타닉에 탔었다면?! PyTorch & Next.js로 생존 확률 예측 AI 웹 서비스 만들기
코드(3-7. 계층적 데이터 분석) 중에 질문이 있습니다.
안녕하세요!코드 중에서 이해 안가는 부분이 있어 질문드립니다.fig = px.sunburst(df, path=["Pclass", "Sex", "SurvivalStatus"], values="PassengerId", # 각 조각의 크기를 승객 수로 설정 title="Hierachical View of Survival by Class and Sex", color="Survived", color_discrete_map={1:'gold', 0:'darkblue'}) fig.show()여기에서 values="PassengerId", # 각 조각의 크기를 승객 수로 설정이라고 하셨는데 PassengerId는 단순 인덱스 개념이 아닌가요? 왜 사람 수를 의미하게 되는지 이해가 잘 가지 않습니다.
-
미해결딥러닝 CNN 완벽 가이드 - Pytorch 버전
질문드립니다!
안녕하세요 강사님!딥러닝 강의 잘 수강하고 있습니다!딥러닝 완벽 가이드를 다 수강하고 나서 트랜스포머 강의를 수강할 예정인데, 혹시 트랜스포머 이후 강의는 무엇이 될지 알려주실 수 있나요~?감사합니다!
-
미해결딥러닝 CNN 완벽 가이드 - Pytorch 버전
혹시 실습코드 진행 순서대로
혹시 실습코드 진행 순서대로 알 수 있을까요..? 처음부터 쭉 다시 보고 싶어서요..!
-
미해결<밑바닥부터 만들면서 배우는 LLM> 해설 강의
바흐다나우 어텐션을 시작하게 된 이유가 궁금해요!
바흐다나우 어텐션에서 모든 입력 토큰을 참조하는 이유와 그로인한 바흐다나우 어텐션 장점이 무엇인지 궁금해요! 찍어주신 강의에서는 아래와 같이 정리해볼 수 있었는데요, 어떤 장점이 있는지 궁금해서 질문드립니다! - 방법 : 출력 토큰을 생성할 때, 모든 입력 토큰을 참조하고, 입력 토큰별로 중요도를 기록한다.- 단점 : 토큰양이 많아질 수록 저장공간 문제가 발생한다.- 단점으로 인한 제약 : 입력 텍스트 길이에 제한이 발생한다. 좋은 강의 감사합니다.
-
미해결구현하며 배우는 Transformer
트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서
안녕하세요.. 다시 또 궁금한 것이 생겼습니다.트랜스포머의 각 인코더 블럭의 출력이 디코더 블럭의 Encode-Decoder Attention 으로 들어가게 되는 것인가요? 아니면 인코더 블럭의 마지막 블럭의 출럭이 디코더 블럭의 최종 블럭으로 들어가는 것인가요?
-
미해결구현하며 배우는 Transformer
트랜스포머 구조에서 블럭갯수에 대해서
안녕하세요.. 트랜스포머 구조에서 Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 하는 것인가요? 아니면 Encoder -Decoder Attention 부분만 갯수를 맞추어 유지되면 되는 것인지 궁금합니다.
-
미해결구현하며 배우는 Transformer
RNN에서 출력 y에대해서..
안녕하세요.. RNN모델 설명에서, 궁금한 것이 있습니다. y_i = h_i 가 되는 것인가요?
-
미해결구현하며 배우는 Transformer
embedding 값 시각화 해보기에서
안녕하세요..16강 임베딩 값 시각화 해보기에서 궁금한 것이 있습니다.버트 토크나이저와 모델을 다운로드 받을 때 다음과 같은 오류가 났는데..2026-01-12 20:46:39.930539: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:477] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR E0000 00:00:1768250800.289278 47 cuda_dnn.cc:8310] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered E0000 00:00:1768250800.409734 47 cuda_blas.cc:1418] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype'오류는 나더라도 토크나이저와 모델은 다운로드 받은 것 같더라구요.. Embedding(30522, 768, padding_idx=0) torch.Size([30522, 768])가 출력으로 나왔으니..별 문제가 없는 것인가요? AttributeError가 계속난 것이 신경이 쓰여서요.. 강사님이 실행한 영상에서는 나타나지 않는 오류여서.확인 부탁드립니다.
-
미해결딥러닝 차세대 혁신기술 - 물리 정보 신경망 입문과 Pytorch 실습
최적화
안녕하세요! 강의 정말 잘 듣고 있습니당!! 인공지능 연구원을 꿈꾸는 코딩 초보 고등학생입니다!!코랩에서 파이토치를 이용해 최적화 코딩하는 단계import torch import torch.nn as nn import mlp import utils import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D에서 자꾸--------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) /tmp/ipython-input-3238716847.py in <cell line: 0>() 2 import torch.nn as nn 3 ----> 4 import mlp 5 import utils 6 import matplotlib.pyplot as plt ModuleNotFoundError: No module named 'mlp' --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. To view examples of installing some common dependencies, click the "Open Examples" button below. ---------------------------------------------------------------------------이런 오류가 뜨는데 무슨 문제일까요??ㅠㅠ
-
해결됨구현하며 배우는 Transformer
length_penalty 부분이 없는 것 같습니다.
130강 끝날 즈음에 다음 섹션이 아니라 length_penalty에 대한 설명을 해주신다고 하셨는데 없는 것 같습니다!
-
해결됨딥러닝 기반 이미지·객체 인식: CNN에서 YOLO·DETR까지
흑백 이미지 resnet 전이학습 분류 질문 있어요
안녕하세요ResNet 전이학습 모델에 RGB가 아닌 그레이 1채널 이미지를 학습하려고 합니다. 조사한 방법은 2가지 입니다.그레이 이미지 채널 복제 및 RGB 변환ResNet 모델 첫 번째 레이어 입력 채널을 3->1로 weights도 함께 수정현재는 ResNet 전이학습 모델 레이어를 변경하지 않는 방식의 1번을 적용중인데 강사님께서 추천하시는 방법이 있을까요
-
미해결딥러닝 이론 + PyTorch 실무 완전 정복
노션URL 이동문제
교재에 작성된 노션URL로 이동이 안됩니다
-
미해결구현하며 배우는 Transformer
멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문
후반부 슬라이드 그림에 Wq, Wk, Wv 하나로 계산이 되어 헤드별로 나누어진다는 표현같이 보이는데, 오해의 소지가 있는것 같습니다. 만약 Wq, Wk, Wv가 멀티 헤드의 각각의 Wq, Wk, Wv가 concat된 것을 의미한다면 틀린것은 아니지만 그건 구현의 편의 문제이고 적어도 이 슬라이드에서는 Q, K, V가 하나의 Wq, Wk, Wv에서 계산이 되어 나누어진다는것은 혼란을 줄것 같습니다.
-
미해결딥러닝 CNN 완벽 가이드 - Pytorch 버전
고양이 이미지가 사라진 것 같아요
안녕하세요. 강의 잘 듣고 있습니다.다름이 아니라 augmentation을 설명하는 부분에 아래 경로가 사라진 것 같아 말씀드립니다!https://www.sciencenews.org/wp-content/uploads/2020/03/033120_HT_covid-cat_feat-1028x579.jpg