묻고 답해요
130만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
GPT3모델 리뷰
안녕하세요! GPT1,2,3 논문들 리뷰 잘 보았습니다!GPT3모델은 아직 리뷰가 다 끝나지 않은거 같은데, 언제쯤 영상이 업로드될 지 알 수 있을까요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
fine-tuning 관련 질문
안녕하세요!강의 잘 보고 있습니다.llama2 fine-tuning 시 label이 붙은 데이터에 대한 fine-tuning을 하는 내용만 있는데 (supervised learning)label이 없는 text 데이터에 대해 unsupervised learning 방식으로 fine-tuning 하는 방법이 있을까요?또한 fine-tuning 이후 checkpoint를 기존 pretrained LLM에 통합해서 나만의 LLM을 생성하는 방법에 대해서도 궁금합니다.새해 복 많이 받으세요.감사합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
LLM 파인튜닝 데이터셋 질문
안녕하세요 데이터셋부터 생성 후 파인튜닝 하려고 합니다.제가 가진 데이터는 텍스트 (word) 파일인데 이를 데이터셋으로 변경을 어떻게 하면 될까요? 강의에서는 이미 만들어져있는 데이터셋 가지고 실습하는거라 처음에 데이터셋은 어떻게 생성할 지를 모르겠습니다. 강의에 나와있는 데이터처럼 answer_start, id 이런 값들도 필요한 건가요? 데이터셋 생성하는 예시 코드를 받을 수 있을까요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
PEFT 수업에서 실습 모델 선택 기준이 궁금합니다.
안녕하세요, 제공해주신 유익한 수업 잘 듣고있습니다 🙂 현재 PEFT 부분 강의를 듣고 있는데요, 강의를 듣다가 궁금한 점이 생겼는데, 각 PEFT 방법들을 적용한 실습에서 backbone 모델과 데이터셋이 계속 바뀌는 것이었습니다.PEFT 방법과 task(dataset), backbone 모델의 조합을 어떻게 구성해서 실습을 할 지에 대한 선택 사항이 있었을 거 같은데, 선택하는데 있어서 특정한 기준이 있었는지 궁금합니다.예를 들면 아래와 같은 궁금증들 입니다. PEFT 방법 별로 잘 동작하는 task가 있는가?다양한 task에 적용이 가능하단걸 보여주시기 위해서 여러 데이터셋을 사용한 것이고, 각 데이터셋 별로 잘 동작하는 backbone 모델을 선택한 것인가?아니면 PEFT 방법과 데이터셋, backbone 모델 모두 자유롭게 선택이 가능해서 자유롭게 바꿔가면서 한 것인가?제가 LLM 공부를 갓 시작한 단계라 잘 몰라서 드린 질문일 수도 있으니 양해부탁드립니다 ㅎ
-
해결됨딥러닝 이론 + PyTorch 실무 완전 정복
2-7번 강의 수업 자료 관련
큰 문제는 아니지만 Section2의 '[실습] PyTorch 기초 - Transforms' 강의의 수업 자료가 이전 강의의 수업 자료로 잘못 업로드 되어 있는것 같아서 질문드려봅니다!
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
강의 자료 누락
안녕하세요~ 강의 자료를 살펴보니 일부 자료들이 누락되어 있거나 학습 커리큘럼과 조금 다른 챕터로 묶여있는 것 같습니다.(ex. Chapter 8 폴더가 아예 없거나, GPT 3 자료 없음 등)해당 부분 확인 부탁드립니다
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
학습시 epoch 횟수
모델 트레이닝 할때 epoch 을 최소 몇 정도로 넣어주고 학습을 시켜야 괜찮은 모델이 나오나요? 추가로 loss 는 최소 어느정도 까지 떨어져야 괜찮을 모델이 나올까요? 물론 모델마다 차이가 있겠지만 일반적인 지표가 어느정도 되는지 궁금합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
korquad 데이터셋 편집 방법 문의
안녕하세요. 강사님.강의 잘 듣고 있습니다. 제가 가지고 있는 csv 포맷 데이터의 일부를 korquad에 넣고 파인튜닝을 해보려는데, 어떻게 편집할 수 있을지 방법을 찾지못해 문의 드립니다. 관련 영상이나 강의를 알려주실 수 있을지요. 검토 부탁드립니다. 좋은 강의 만들어주셔서 고맙습니다. :)
-
해결됨딥러닝 이론 + PyTorch 실무 완전 정복
from torchvision.models.resnet import model_urls 에러
첨부된 9-5 ipynb 에 resnet weight 를 불러올 때 from torchvision.models.resnet import model_urls에서 오류가 나와 찾아보니 torchvision 0.13 버전 이후에model_urls 는 없어졌다고 하네요. https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py 아래와 같이 해결을 해보았습니다.from torchvision.models.resnet import ResNet50_Weights checkpoint = load_state_dict_from_url(ResNet50_Weights.IMAGENET1K_V2.url)
-
해결됨딥러닝 이론 + PyTorch 실무 완전 정복
섹션 6. Partial Diffentiation 예시
12 page 2번째 문재에서 x1 에 대해 미분할 때 log(x2) 항은 사라져야하는 것이 맞죠?그리고 x2 에 대해 미분할 때는 sin(x1) 항이 사라져야하는 것이 맞죠?
-
해결됨처음하는 딥러닝과 파이토치(Pytorch) 부트캠프 [데이터과학 Part3]
BackPropagation 질문입니다
오차 역전파가 작동하기 위해서는 결국 마지막 layer의 가중치 (w)값을 알아야 하는 거 같은데 마지막 layer의 가중치는 어떻게 구하나요?
-
미해결처음하는 딥러닝과 파이토치(Pytorch) 부트캠프 [데이터과학 Part3]
RMSProp 관련 질문입니다.
안녕하세요! 섹션 9에서 AdaGrad, RMSProp 강의를 보다 궁금한 점이 생겨 질문드립니다. 제가 이해한 바로는, RMSProp은 학습이 잘 안되었음에도 t가 커질수록 $G_t$가 커지는 문제를 최대한 막는 방법이라고 이해했습니다. $G_t = \gamma G_{t-1} + (1 - \gamma)g_t^2$그런데 위 식대로라면 미분값($g_t$)이 커질때 오히려 $G_t$가 감소할수도 있을 것 같은데RMSProp은 AdaGrad와 달리 learning_rate가 커지는 쪽으로도 조절될 수 있도록 한 것인가요? 만약 맞다면 제가 알기로는 learning_rate는 t에 따라 감소하도록 하는 것이 일반적이라고 알고 있는데RMSProp에서 이렇게하면 학습에서 어떤 이점이 있는 것인지 궁금합니다.
-
해결됨딥러닝 이론 + PyTorch 실무 완전 정복
Google Drive 에서 Colaboratory 항목이 안보이는 경우
연결할 앱 더보기에서 검색해서 연결을 해주면 됩니다
-
해결됨처음하는 딥러닝과 파이토치(Pytorch) 부트캠프 [데이터과학 Part3]
파이토치와 비교하며 Numpy 라이브러리 사용법 익히기2 질문입니다.
약 11분 경에 행렬 곱셈을 설명하는 부분에서"앞 행렬의 행의 갯수와 뒷 행렬의 열의 갯수가 같아야 행렬간 곱셈이 가능하다"고 되어있는데 제가 알기로는 (n, k) @ (k, m) = (n, m) 이어서앞 행렬의 열의 갯수와 뒷 행렬의 행의 갯수가 같아야 행렬 곱셈이 가능하다고 알고 있습니다.제가 알고 있는게 맞을까요? 검색해봐도 설명이 이렇게 나와서 어느것이 맞는지 질문드립니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
LLM 용어 정리 - 온도(Temperature)
"LLM 용어 정리 - 온도(Temperature)"이 강의는 강의자료 제공이 안되었나요?강의자료 압축파일에 이 파일은 안보여서 질문합니다. 감사합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
conda 환경에서 autotrain-advanced
pip 말고 conda 가상환경에서 작업을 진행하고 싶은데, conda 가상환경에서 autotrain-advanced를 사용하려면 어떻게 해야하나요?
-
미해결[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지
regression 문제에 대한 결과 시각화
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.강사님 안녕하세요. t-SNE 수업에 대하여 궁금한점이 있습니다.강의에서는 classification 문제에 대한 시각화를 알려 주셨는데요, 혹시 regression 에 대해서도 t-SNE를 적용할 수 있을지 궁금합니다. 만약 불가능 하다면, t-SNE 이외에 활용할 수 있는 다른 방법이 있을지 궁금합니다.
-
미해결[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지
Loss function 관련하여 질문드립니다.
강사님 안녕하세요. test loss 및 validation loss 관련하여 질문드립니다. train loss와 validation loss 플랏을 보고, 이 모델이 잘 학습이 되었는지 어떻게 판단해야 하는지가 궁금하여 질문드리게 되었습니다.강의 코드를 활용하여 학습하고자 하는 데이터에 적용해 보았습니다. 같은 데이터여도, 모델을 어떻게 구성하는지에 따라 에폭에 따른 loss 값이 큰 차이를 보였습니다. Case 1) 초기 epoch의 validation loss가 train loss보다 낮은 경우Case 2 ) validation loss와 train loss의 차이가 큰 경우Case 3) Validation loss가 감소하는 형태를 띄나, 크게 fluctuation 할 경우Case 4) Validation loss가 크게 fluctuation하며, 감소하는 형태가 아닌 경우 (증가 -> 감소)말씀드린 4가지 case 경우 모두, 최종적으로 loss 값 자체는 낮게 나왔습니다.하지만 제가 이상적이라고 생각한 loss 곡선에는 모두 벗어나는것 같아서, 위 형태들도 학습이 잘 되었다고 판단할 수 있을지 궁금하여 질문드립니다! 감사합니다.
-
미해결[PyTorch] 쉽고 빠르게 배우는 NLP
batch size 질문이 있습니다!
안녕하세요. 좋은 강의 열어주셔서 감사합니다.batch size를 크게할 경우 학습속도가 더 빨라질것 같은데, 맞나요? batch size와 모델 성능과의 상관관계도 있을까요?
-
해결됨[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지
early stopping 코드 문의
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. if val_loss < early_stopping_loss: torch.save(resnet.state_dict(), PATH) early_stopping_train_loss = train_loss early_stopping_val_loss = val_loss early_stopping_epoch = epoch 강사님 안녕하세요.위 코드에 궁금한 점이 있어서 질문드립니다.위 코드의 4번째 줄에서 아래와 같이 early_stopping_loss 변수를 업데이트 해줘야 하는게 아닌지 궁금합니다.early_stopping_loss = val_loss지금 코드 상으로는 early_stopping_loss가 업데이트 되는 부분이 없어보여서요. 지금 코드로는 모든 epoch에서 if 문에 들어가는것이 아닐지 질문드립니다! 감사합니다.