묻고 답해요
130만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨처음하는 딥러닝과 파이토치(Pytorch) 부트캠프 [데이터과학 Part3]
실제 캐글(Kaggle) 문제 풀고, 제출해보며, 성능 개선 기법 익히기5 강의에서 질문입니다
실제 캐글(Kaggle) 문제 풀고, 제출해보며, 성능 개선 기법 익히기5 강의에서 질문입니다.해당 강의 2:50 부분부터 Evaluation 코드에 관해 설명을 해주셨는데요,with torch.no_grad() 안쪽의 코드에서는 with torch.no_grad(): model.eval() ret = None for img, fileid in data_loader: img = img.to(device) pred = model(img) ids += list(fileid) # ex) [1, 2] + [3, 4] -> [1, 2, 3, 4] if ret is None: ret = pred.cpu().numpy() else: ret = np.vstack([ret, pred.cpu().numpy()]) return ret, ids pred.cpu().numpy()와 같이detach()를 따로 사용하지 않은 걸 볼 수 있었습니다. detach()의 사용에 관해서 찾아보니, with torch.no_grad() 블록은 역전파(gradient 계산)를 비활성화 하므로,pred는 gradient 계산과 관련이 없기에, detach()를 따로 호출하지 않고 numpy 배열로 변환할 수 있다 라는 내용을 찾을 수 있었습니다. 그 전에 수업 시간에 보여주신 코드에서는 model.eval() with torch.no_grad(): for x_minibatch in x_test_batch_list: y_minibatch_pred = model(x_minibatch) print(len(y_minibatch_pred), y_minibatch_pred.shape) y_pred_list.extend(y_minibatch_pred.squeeze().detach().tolist())이와 같이with torch.no_grad() 안에서도 detach()를 사용하신 코드들을 볼 수 있었는데요,Evaluation 단계에서 detach()의 사용이 필수적인 것인지 여쭙고 싶습니다!
-
해결됨실전 인공지능으로 이어지는 딥러닝 개념 잡기
XOR 파트에서 질문 있습니다.
초반에 bias를 열벡터로 표현시다가 강의 6분부터는 행 벡터로 나오는데요 bias에는 Transpose 표기가 되어 있지 않습니다 왜그런지 궁금합니다
-
해결됨실전 인공지능으로 이어지는 딥러닝 개념 잡기
SGD + 모멘텀 등의 코드
안녕하세요 강사님 ㅎㅎ강의 너무 잘 듣고 있습니다.다름이 아니라.15:40 에 많이 사용하는 것이SGC + 스케줄링 또는 SGD + 모멘텀 + 스케줄링 이라고 말씀하셨는데요.해당 부분을 코드로 나타내면 이렇게 되는게 맞을까요?import torch import torch.optim as optim # SGD + 스케줄링 optimizer = optim.SGD(model.parameters(), lr=0.01) # SGD + 스케줄링 + 모멘텀 optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) for epoch in range(num_epochs): ... for inputs, targets in train_loader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() scheduler.step() 감사합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
에러 정보 문의드립니다.
colab무료 자원이 없어서, jupyter notebook환경에서 fine-turning을 진행하는데 CUDA Version: 12.2 에서 autotrain llm시libcusparse.so.11: cannot open shared object file: No such file or directory 에러가 발생하고 있습니다. 혹시 해결방법을 조언받을수 있을까요?
-
해결됨[딥러닝 전문가 과정 DL1101] 딥러닝을 위한 파이썬 레벨1
수강 기간 연장
[딥러닝 전문가 과정DL1101] 딥러닝을 위한 파이썬 레벨 1 듣고 있는데, 다른 일로 바빠서 3개월이 금방 지나가버렸습니다 ㅠㅠ 50%까지 들었는데, 조금이라도 기간 연장해주실 수 있을까요? 끝까지 강의 듣고싶습니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
PEFT 실습 4에서 training시작할때 out of memory가 발생합니다.
PEFT 실습 4에서 training시작할때 out of memory가 발생합니다.
-
미해결차량 번호판 인식 프로젝트와 TensorFlow로 배우는 딥러닝 영상인식 올인원
CRNN_license_plate_data_fine_tuning_example_solution.ipynb 코랩 url 알려주세요.
pdf에 없는거 같아요.영상시작할때도 페이지 열려있는 상태에서 시작해서들어가는 방법을 모르겠구요.그리고 차량번호판 OCR때문에 영상듣는건데전체 프로젝트 파일은 따로 없는 건가요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
문제에 봉착했습니다!!도움 부탁드립니다.
openai.FineTuningJob.create(training_file="file-G8e3McuXFWVZnm1XSNB-----", model="gpt-3.5-turbo")위의 코드에 대해서 아래와 같이 메세지가 나오면서 실행이 안됩니다 ㅠㅜ { "name": "AttributeError", "message": "module 'openai' has no attribute 'FineTuningJob'", "stack": "--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /Users/loveyourself/dev/LLM/chatBot/worKBee/worKBee.ipynb 셀 3 line 1 ----> <a href='vscode-notebook-cell:/Users/loveyourself/dev/LLM/chatBot/worKBee/worKBee.ipynb#W3sZmlsZQ%3D%3D?line=0'>1</a> openai.FineTuningJob.create(training_file=\"file-G8e3McuXFWVZnm1XSNBtMrmA\", model=\"gpt-3.5-turbo\") AttributeError: module 'openai' has no attribute 'FineTuningJob'" } FineTuningJob 이 없다고 하는데 어떻게 해야하나요..
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Korquad 데이터셋
강의잘듣고있습니다.Korquad데이터셋을 나만의 데이터로 만드는 쉬운 방법이 있나요? 하나하나 직접 작성해야되는건지 문의드립니다. 또한 나만의 데이터는 gpt를 통해서 학습 등이 어려워서 추가데이터를 만들때 사용을 못할 것 같은데 방법이 있는지 문의드립니다
-
해결됨처음하는 딥러닝과 파이토치(Pytorch) 부트캠프 [데이터과학 Part3]
실제 캐글 문제 풀고 제출해보며 성능 개선 기법 익히기8 강의에서 질문입니다
실제 캐글 문제 풀고 제출해보며 성능 개선 기법 익히기8 강의의 3:20 부분에서 궁금한 점이 있어 질문 올립니다. 해당 코드에서는 저장된 model_efficientnet-b7_without_scheduler_adam_1e5_epoch20.pth 모델을 load할 때, model_efficientb7 = deepcopy(model) PATH = '/content/drive/MyDrive/Colab Notebooks/Dataset/Dogs vs Cats/' model_efficientb7.load_state_dict(torch.load(PATH + 'model_efficientnet-b7_without_scheduler_adam_1e5_epoch20.pth'))다음과 같이 model의 뼈대를 다시 구성한 후, load_state_dict 메소드를 이용하여 가중치 값을 업데이트 하였습니다. 이때, model_efficientb7 = deepcopy(model) 와 같이 그냥 model 객체가 아닌, deepcopy(model)을 사용한 특별한 이유가 있는지 궁금합니다. deepcopy를 사용할 경우, 'model_efficientb7'과 'model' 객체는 서로 독립적인 객체로 유지된다는 점은 파악할 수 있었는데요,model_efficientb7에 적용되는 변화와는 별개로 model 객체 자체를 유지하려는 의도에서 사용한 것이라고 보면 되는지 여쭙고 싶습니다!
-
미해결따라하면서 배우는 3D Human Pose Estimation과 실전 프로젝트
[긴급] 강의자료 링크 깨짐
제공된 강의링크가 깨졌습니다! 필요한 강의 자료https://drive.google.com/file/d/1eeCo0WKkh1t0v6o_4lIOhR59SzKYUoX9/view?usp=share_link
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
llama2 모델리뷰 슬라이드는 어디서 다운받을 수 있을까요?
llama2 모델리뷰 슬라이드는 어디서 다운받을 수 있을까요? 첨부파일에는 03 폴더가 없네요
-
미해결따라하면서 배우는 3D Human Pose Estimation과 실전 프로젝트
3d 데이터셋 gt는 카메라 좌표계 기준인거죠?
RT를 알 수 없으니 이미 어떻게 RT 반영되어서 적용된 데이터를 주는거죠?
-
미해결딥러닝 CNN 완벽 가이드 - Fundamental 편
gradient descent 코드 구현시 편미분으로 변환하는 부분 질문드립니다!
안녕하세요!!강의를 듣는 도중 궁금한것이 생겼습니다이전 영상에서 손실함수의 편미분을 구해서 weight를 업데이트 하는 방식의 설명중에 공식의 오른쪽 부분 xi * (실제값i - 예측값i) 부분이 코드 상에 구현된것이이부분 인거 같은데 해당 코드에서, 예를 들면 w1_update 변수 부분에 공식의 xi 를 곱하는 부분이 빠진게 아닌가 싶은 의문이 듭니다!! 제가 못찾고 있는건지...아니면 어디서 따로 구현이 된것인지 여쭤봅니다!! 강의 감사합니다^^
-
미해결[개정판] 딥러닝 컴퓨터 비전 완벽 가이드
mmdetection kitti customdataset 학습 시 오류
안녕하세요, 강의 잘 듣고 있습니다.train_detector(model, datasets, cfg, distributed=False, validate=True)실행 시키면, BrokenPipeError: [Errno 32] Broken pipe에러가 발생 하는데.. 이유를 잘 모르겠습니다 ㅜ
-
해결됨강화학습 입문에서 Deep Q-learning까지
강의코드 110_basic_operations_for ... 코드 실행 시 문제
안녕하세요. 강사님. 강의 잘 들었습니다. 한번에 이해가 안되서 여러번 복습해야 할 것 같습니다. 다름이 아니고, 마지막 Deep Neural Network 이해를 돕기 위한 코드 자료에서 에러가 발생합니다.강의자료는 110_basic_operations_for_Function_Approximation 입니다. states_v 출력부터 에러가 나는데, 코드를 보면 앞에서 states_v를 선언하는 내용이 없습니다. 코드 내용 확인바랍니다. 감사합니다.
-
미해결딥러닝 CNN 완벽 가이드 - Fundamental 편
학습 데이터 가져오는 부분과 배치사이즈, iteration 에 관해 질문드립니다!!
추가로 질문 드리고 싶습니다1.SGD시 1건의 데이터는 모든 피쳐를 포함한 1건의 데이터(RM, LSTAT의 경우 2개의 W를 가지는 2개의 열방향 데이터)인것인가요? 맞다면 1000번의 iteration시 동일한 데이터로 1000번 학습을 하는건가요? 아니면 열방향으로 순차대로 학습을 하는건가요?(예를 들면 600개의 데이터가 있다고 하면 1번부터 600번까지...)2.미니배치에서 Batch size만큼 학습데이터를 순차적으로 학습시킬때, Batch size는 순서대로(600개의 데이터가 있다면 1~30번, 31~60번...이렇게 정직하게 가져 오는건가요?? 아니면 1, 5, 8, 11, 50, 100 과 같이 랜덤하게 선택하되, Batch size만 지키는 것인가요??진짜 감사드립니다...강의 계속 보고 있습니다!!
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Gpt3.5 FineTuning 을 보고 문의 드립니다.
안녕하세요. 강의 잘 보고 있습니다.이렇게 좋은 강의를 제공해 주셔서 감사합니다. 2가지 케이스에 대한 문의 사항이 있습니다.이런 경우에는 어떻게 해야 하는건가요?가령 예를 들어서 gpt api 를 이용해서 사내 업무에 특화된 서비스를 개발하려고 합니다.첫번째 케이스는 회사의 업무를 만드는 케이스입니다.1. 가령 인사업무, 총무업무,회계업무 등의 다양한 업무가 있다면 이런것들은 인사,총무,회계 등의 형태로 모델을 다 다르게 만들고 질문의 영역이 들어올 때 이 문제가 인사인지, 총무인지,회계인지 등으로 먼저 파악을 하고 질문에 대해서 각각 모델을 지정해서 응답을 하도록 만들어야 하는지아니면 회사전체의 모든 업무를 담을 수 있는 하나의 모델을 만들고 거기에 fine tuning 을 시켜야 하는지요.?이 경우에 회사에서 사용하는 api 의 경우는 finetuning 된 모델을 사용하도록 지정을 해도 되나요? 그러니까 제가 fine tuning 한 모델을 지정을 하면 그것만 답변을 잘하고 다른것들은 답변을 잘 못하게 되나요?두번째 케이스는 개발업무를 assist 하는 케이스를 만들고 싶은데요 1. 이런 경우에 db 테이블 정보를 fine tuning 의 형태로 학습 시키는 것이 가능한가요?가령 주요 테이블 정보를 fine tuning 시키고 query 를 만들때 fine tuning 된 테이블 정보를 이용해서 query 를 만든다거나 하는 형태가 가능할까요? 바쁘실텐데 시간내셔 답변주시면 정말 많은 도움 될듯합니다. 감사합니다. ^^
-
미해결[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지
데이터 엔지니어의 역량을 기르려면 어떻게 해야할까요?
안녕하세요 강사님 ㅎㅎ사실 인공지능 쪽 열심히 공부하려고 강사님의 강의 거의 전부를 구매해서 듣고 있는 학생입니다. 요새 고민이 있어서 질문을 드립니다.. ㅎㅎ 저는 요새 최신논문 모델 구현 같은 경우 턱턱 막히는 부분도 많아서.. 그부분에서 실력의 한계를 많이 느끼는데요..실력을 기르기 위해서 그저 막연하게 캐글 competition expert가 되면 되지 않을까? 생각해서 일단 달성해보자 생각하면서 캐글팁이나 노하우 이런거 공부하고 EDA 스크립트나 common.py 같은 걸 만들며 최근 도전하는 중입니다. 혹시 강사님은 데이터엔지니어의 역량을 기르기 위한 로드맵이나 루틴이 있으신지, 만약 있으시다면 어떤 것들이 있는지 살짝 공유가능하실까요? 감사합니다.
-
미해결딥러닝 CNN 완벽 가이드 - Fundamental 편
손실함수의 편미분에서 w의 갯수가 많을경우
안녕하세요!!다시 복습하는 중입니다...!!강의를 들으면서 궁금한건데 강의에서는 손실함수의 편미분과업데이트시 w0(바이어스)과 w1(기울기,가중치)를 예시로 들면서 설명을 해주셨는데 만약 바이어스를 제외한 w1(기울기, 가중치)의 갯수가 여러개일경우(w2, w3, w4)편미분하는 절차는 어떻게 되나요??w1만 편미분하고 업데이트 하구, w2만 편미분하고 업데이트 하는...방식인지 아니면 w1, w2, w3를 한번에? 편미분 해서 나온 값으로 업데이트 하는것인지 궁금합니다! 좋은 강의 감사합니다^^