inflearn logo
강의

강의
N
챌린지

챌린지
멘토링

멘토링
N
클립

클립
로드맵

로드맵
지식공유

묻고 답해요

173만명의 커뮤니티!! 함께 토론해봐요.

Embedding 모델 fine tuning 관련 질문

미해결

구현하며 배우는 Transformer

강사님 안녕하세요? 10년전 쯤 파이썬 머신러닝 완벽가이드, CNN 완벽가이드를 수강하고 많은 도움을 받았는데, Transformer 강의를 내셨길래 반가운 마음으로 바로 구매했습니다 ㅎㅎ 회사에서 RAG 를 종종 구현하고 있는데.. 예시로 들어주신 BERT 모델은 RAG 구현 중 리트리버에 해당한다고 이해하면 될지요? 그리고 BERT 모델을 fine tuning 하고자 한다면 pre trained 모델의 tokenizer 와 model 둘 다 불러온 후, tokenizer 의 vocab 에 mapping 되어 있는 token 들을 ids 토시하나 틀리지 않고 있는 그대로 사용하되, 사내 내부 용어만 이후 ids 에 추가해서 사용하고, model 에 몇 개의 추가 layer 를 쌓아서 fine tuning 한다면, 처음부터 학습시키는 것보다 좀 더 효율/효과적인 방안이 될 수 있을지.... 도 궁금합니다. RAG 를 구현하다보면, 외부에서 사전학습된 모델이 사내 문서의 특수한 약어나 내부 고유기술 용어를 인지하지 못해서 필요한 문서들을 못 물어 오는 경우를 가끔 보고 있어서.... 생성을 위한 LLM 모델이야 요즘 너무 첨단을 향해 가고 있는데, 리트리버 에 대한 최적화는 회사나 도메인 별로 필요한 것이 아닐까... 생각하고 있었습니다만, 제가 이해한 개념이 맞을지 문의 드려 봅니다.

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
아쿠아라이드 댓글 2 좋아요 0 조회수 107

코드에 오타가 있는 것 같습니다

미해결

구현하며 배우는 Transformer

안녕하세요, 강사님 강의 열심히 잘 듣고 있습니다. visionTransformer생성 부분에서, 제가 잘못 이해하였는 것일 수 있으나, class VisionTransformer(nn.Module): def init (self, img_size, patch_size, num_layers, num_heads, embed_dim, mlp_dim, attention_dropout, dropout, num_classes=1000): super().__init__() #Patch Embedding 모듈, class token, position embedding 파라미터 생성. self.patch_embedding = PatchEmbedding(img_size=img_size, in_channels=3, patch_size=patch_size, embed_dim=embed_dim) self.class_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) seq_length = (img_size // patch_size) ** 2 self.pos_embed = nn.Parameter(torch.empty(1, seq_length+1, embed_dim).normal_(std=0.02)) #Encoder 생성. self.encoder = Encoder(num_layers=num_layers, num_heads=num_heads, embed_dim=embed_dim, mlp_dim=mlp_dim, attention_dropout=attention_dropout, dropout=dropout) #최종 classification Linear Layer 생성 self.head = nn.Linear(embed_dim, num_classes) def get_patch_class_pos_embedding(self, input_tensor): patched_tensor = self.patch_embedding(input_tensor) batch_size = patched_tensor.shape[0] # batch_size 만큼 class token을 증식하고 patch embedding 된 patched_tensor의 맨 앞에 concat batch_class_token = self.class_token.expand(batch_size, -1, -1) patch_class_embed = torch.cat ([batch_class_token, patched_tensor], dim=1) # position embedding을 더함. patch_class_pos_embed = patch_class_embed + self.pos_embed return patch_class_embed 마지막 return 부분이 patch_class_embed가 아닌 patch_class_pos_embed로 수정되어야 할 것 같습니다. 파라미터 사이즈에는 영향이 없으나 버그가 발생할 수 있을 것 같아 이렇게 글 남깁니다. 항상 좋은 강의 감사드립니다. 혹시나 의도하신 것이라면 제가 잘못 이해한 것이니 바로 잡아주시길 바랍니다. 감사합니다.

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
lovewrite030110 댓글 2 좋아요 0 조회수 87

코드 오타가 있는것 같습니다.

미해결

구현하며 배우는 Transformer

torch.manual_seed(123) HIDDEN_SIZE = 256 NUM_HEADS = 4 DEC_Q_SEQ_LEN = 10 ENC_K_SEQ_LEN = 20 BATCH_SIZE = 2 dec_tokenizer = BertTokenizerFast.from_pretrained("klue/bert-base") dec_sentences = ["안녕하세요 여러분", "이것은 긴 문장입니다"] dec_input_ids, dec_pad_mask = get_input_ids_mask(dec_tokenizer, sentences, max_length=DEC_Q_SEQ_LEN) sentences --> dec_sentences transformer_decoder.ipynb 사소한 것이이지만.. 좋은 강의 감사드립니다. 새해 복 많이 받으세요...

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
jsmak 댓글 2 좋아요 0 조회수 93

코드(3-7. 계층적 데이터 분석) 중에 질문이 있습니다.

해결됨

내가 타이타닉에 탔었다면?! PyTorch & Next.js로 생존 확률 예측 AI 웹 서비스 만들기

안녕하세요! 코드 중에서 이해 안가는 부분이 있어 질문드립니다. fig = px.sunburst(df, path=["Pclass", "Sex", "SurvivalStatus"], values="PassengerId", # 각 조각의 크기를 승객 수로 설정 title="Hierachical View of Survival by Class and Sex", color="Survived", color_discrete_map={1:'gold', 0:'darkblue'}) fig.show() 여기에서 values="PassengerId", # 각 조각의 크기를 승객 수로 설정 이라고 하셨는데 PassengerId는 단순 인덱스 개념이 아닌가요? 왜 사람 수를 의미하게 되는지 이해가 잘 가지 않습니다.

  • python
  • 딥러닝
  • pytorch
  • next.js
  • FastAPI
outofmtx 댓글 2 좋아요 0 조회수 91

질문드립니다!

미해결

딥러닝 CNN 완벽 가이드 - Pytorch 버전

안녕하세요 강사님! 딥러닝 강의 잘 수강하고 있습니다! 딥러닝 완벽 가이드를 다 수강하고 나서 트랜스포머 강의를 수강할 예정인데, 혹시 트랜스포머 이후 강의는 무엇이 될지 알려주실 수 있나요~? 감사합니다!

  • 딥러닝
  • pytorch
  • 컴퓨터-비전
  • cnn
  • 인공지능(ai)
superLight 댓글 1 좋아요 0 조회수 111

혹시 실습코드 진행 순서대로

미해결

딥러닝 CNN 완벽 가이드 - Pytorch 버전

혹시 실습코드 진행 순서대로 알 수 있을까요..? 처음부터 쭉 다시 보고 싶어서요..!

  • 딥러닝
  • pytorch
  • 컴퓨터-비전
  • cnn
  • 인공지능(ai)
이하윤 댓글 2 좋아요 1 조회수 122

바흐다나우 어텐션을 시작하게 된 이유가 궁금해요!

미해결

<밑바닥부터 만들면서 배우는 LLM> 해설 강의

바흐다나우 어텐션에서 모든 입력 토큰을 참조하는 이유 와 그로인한 바흐다나우 어텐션 장점이 무엇인지 궁금해요! 찍어주신 강의에서는 아래와 같이 정리해볼 수 있었는데요, 어떤 장점이 있는지 궁금해서 질문드립니다! - 방법 : 출력 토큰을 생성할 때, 모든 입력 토큰을 참조하고, 입력 토큰별로 중요도를 기록한다. - 단점 : 토큰양이 많아질 수록 저장공간 문제가 발생한다. - 단점으로 인한 제약 : 입력 텍스트 길이에 제한이 발생한다. 좋은 강의 감사합니다.

  • pytorch
  • gpt-2
  • transformer
  • llm
  • fine-tuning
이건창 댓글 2 좋아요 0 조회수 92

트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서

미해결

구현하며 배우는 Transformer

안녕하세요.. 다시 또 궁금한 것이 생겼습니다. 트랜스포머의 각 인코더 블럭의 출력이 디코더 블럭의 Encode-Decoder Attention 으로 들어가게 되는 것인가요? 아니면 인코더 블럭의 마지막 블럭의 출럭이 디코더 블럭의 최종 블럭으로 들어가는 것인가요?

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
산마로 댓글 2 좋아요 0 조회수 98

트랜스포머 구조에서 블럭갯수에 대해서

미해결

구현하며 배우는 Transformer

안녕하세요.. 트랜스포머 구조에서 Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 하는 것인가요? 아니면 Encoder -Decoder Attention 부분만 갯수를 맞추어 유지되면 되는 것인지 궁금합니다.

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
산마로 댓글 2 좋아요 0 조회수 100

RNN에서 출력 y에대해서..

미해결

구현하며 배우는 Transformer

안녕하세요.. RNN모델 설명에서, 궁금한 것이 있습니다. y_i = h_i 가 되는 것인가요?

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
산마로 댓글 1 좋아요 0 조회수 76

embedding 값 시각화 해보기에서

미해결

구현하며 배우는 Transformer

안녕하세요..16강 임베딩 값 시각화 해보기에서 궁금한 것이 있습니다. 버트 토크나이저와 모델을 다운로드 받을 때 다음과 같은 오류가 났는데.. 2026-01-12 20:46:39.930539: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:477] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR E0000 00:00:1768250800.289278 47 cuda_dnn.cc:8310] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered E0000 00:00:1768250800.409734 47 cuda_blas.cc:1418] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype' --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype' --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype' --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype' --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) AttributeError: 'MessageFactory' object has no attribute 'GetPrototype' 오류는 나더라도 토크나이저와 모델은 다운로드 받은 것 같더라구요.. Embedding(30522, 768, padding_idx=0) torch.Size([30522, 768]) 가 출력으로 나왔으니.. 별 문제가 없는 것인가요? AttributeError가 계속난 것이 신경이 쓰여서요.. 강사님이 실행한 영상에서는 나타나지 않는 오류여서. 확인 부탁드립니다.

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
산마로 댓글 1 좋아요 0 조회수 76

최적화

미해결

딥러닝 차세대 혁신기술 - 물리 정보 신경망 입문과 Pytorch 실습

안녕하세요! 강의 정말 잘 듣고 있습니당!! 인공지능 연구원을 꿈꾸는 코딩 초보 고등학생입니다!! 코랩에서 파이토치를 이용해 최적화 코딩하는 단계 import torch import torch.nn as nn import mlp import utils import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D 에서 자꾸 --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) /tmp/ipython-input-3238716847.py in <cell line: 0>() 2 import torch.nn as nn 3 ----> 4 import mlp 5 import utils 6 import matplotlib.pyplot as plt ModuleNotFoundError: No module named 'mlp' --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. To view examples of installing some common dependencies, click the "Open Examples" button below. --------------------------------------------------------------------------- 이런 오류가 뜨는데 무슨 문제일까요??ㅠㅠ

  • 머신러닝
  • 딥러닝
  • 인공신경망
  • pytorch
앙아지 댓글 0 좋아요 0 조회수 55

length_penalty 부분이 없는 것 같습니다.

해결됨

구현하며 배우는 Transformer

130강 끝날 즈음에 다음 섹션이 아니라 length_penalty에 대한 설명을 해주신다고 하셨는데 없는 것 같습니다!

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
jcy4023 댓글 1 좋아요 1 조회수 80

흑백 이미지 resnet 전이학습 분류 질문 있어요

해결됨

실무 밀착형 PyTorch 컴퓨터 비전: CNN에서 최신 DETR까지 완벽 가이드

안녕하세요 ResNet 전이학습 모델에 RGB가 아닌 그레이 1채널 이미지를 학습하려고 합니다. 조사한 방법은 2가지 입니다. 그레이 이미지 채널 복제 및 RGB 변환 ResNet 모델 첫 번째 레이어 입력 채널을 3->1로 weights도 함께 수정 현재는 ResNet 전이학습 모델 레이어를 변경하지 않는 방식의 1번을 적용중인데 강사님께서 추천하시는 방법이 있을까요

  • pytorch
  • 컴퓨터-비전
  • cnn
East Sea 댓글 2 좋아요 0 조회수 94

노션URL 이동문제

미해결

딥러닝 이론 + PyTorch 실무 완전 정복

교재에 작성된 노션URL로 이동이 안됩니다

  • 딥러닝
  • pytorch
  • NLP
  • 컴퓨터-비전
  • cnn
  • rnn
  • transformer
  • llm
둥이아빠 댓글 1 좋아요 0 조회수 84

멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문

미해결

구현하며 배우는 Transformer

후반부 슬라이드 그림에 Wq, Wk, Wv 하나로 계산이 되어 헤드별로 나누어진다는 표현같이 보이는데, 오해의 소지가 있는것 같습니다. 만약 Wq, Wk, Wv가 멀티 헤드의 각각의 Wq, Wk, Wv가 concat된 것을 의미한다면 틀린것은 아니지만 그건 구현의 편의 문제이고 적어도 이 슬라이드에서는 Q, K, V가 하나의 Wq, Wk, Wv에서 계산이 되어 나누어진다는것은 혼란을 줄것 같습니다.

  • 딥러닝
  • pytorch
  • encoder-decoder
  • bert
  • transformer
HYUN TAEK CHOI 댓글 3 좋아요 0 조회수 108

고양이 이미지가 사라진 것 같아요

미해결

딥러닝 CNN 완벽 가이드 - Pytorch 버전

안녕하세요. 강의 잘 듣고 있습니다. 다름이 아니라 augmentation을 설명하는 부분에 아래 경로가 사라진 것 같아 말씀드립니다! https://www.sciencenews.org/wp-content/uploads/2020/03/033120_HT_covid-cat_feat-1028x579.jpg

  • 딥러닝
  • pytorch
  • 컴퓨터-비전
  • cnn
  • 인공지능(ai)
jcy4023 댓글 2 좋아요 0 조회수 116

누적입력에서 겹치는 방식으로 넘어간 이유

해결됨

<밑바닥부터 만들면서 배우는 LLM> 해설 강의

앞 텍스트들로 다음 단어 하나를 예측한다고 했는데, 왜 슬라이딩 윈도에서는 입력과 타깃이 겹쳐져있는건가요? 또한 앞 텍스트부터 누적한 다음, 타깃 한 단어만 예측하는 것으로 이해했습니다. 왜 4개씩 나누는 것인지 궁금합니다. 왜 갑자기 슬라이딩 윈도우로 넘어간것인지 그 중간단계가 이해되지 않습니다.

  • pytorch
  • gpt-2
  • transformer
  • llm
  • fine-tuning
이름바꺼 댓글 2 좋아요 0 조회수 124

쿠폰 관련 질문입니다.

해결됨

<대규모 언어 모델, 핵심만 빠르게!> 완독 챌린지

안녕하세요. LLM 챌린지만 신경쓰다가 <대규모 언어 모델, 핵심만 빠르게!>와 <머신러닝, 핵심만 빠르게!>의 쿠폰 등록을 놓치고 말았습니다. 바보같은 실수네요. 다시 등록을 해주실 수 있으실까요? 감사합니다.

  • 딥러닝
  • pytorch
  • NLP
  • llm
  • 북-챌린지
Dalinaum 댓글 2 좋아요 0 조회수 90

인기 태그

인프런 TOP Writers

주간 인기글