챕터1의 ppt 10p에 x1,x2,x3들이 각각 fx를 통과한 g(x1*w+b), g(x2*w+b) 이런 식으로 다음 각각 Activation function을 통과하는 것으로 나타내져 있는데 제가 알기론 g((x1*w +b)+(x2*w+b)+(x3*w+b))이렇게 다 더해진 값이 activation 을 통과하는 걸로 알고 있어서 뭐가 맞는건가요? 다른 질문이 생겼는데 질문 작성이 금지되어서 여기에다가 작성드립니다 강의자료 2단원 8페이지에서는 a벡터가 1xL1의 차원에 있다고 나오는데 그 다음 페이지 9페이지에서는 첫번째 레이어의 a벡터의 "트랜스포즈"가 1xL1차원에 있다고 나와있어서요 그러면 a벡터는 행벡터인가요 열벡터인가요
선생님 안녕하세요. mm_faster_rcnn_train_coco_bccd.ipynb 코드 실행하다가 오류가 발생해서 해결방법을 모르겠어서 질문남깁니다.. 코드는 수정한건 없고 그대로 실행하였습니다. 버전도 통일했는데, 해당오류가 발생해서 혹시 해결방법을 알 수 있을까요? 감사합니다
안녕하세요 선생님 저는 주피터노트북으로 선생님 코드를 따라 실습해보고 있습니다. !wget -O /content/pretrained/yolov3.cfg https://github.com/pjreddie/darknet/blob/master/cfg/yolov3.cfg?raw=true 위와 같이 파일을 wget으로 다운로드 받을 때 마다 wget.download (다운경로, 저장경로)로 구현하고 있었는데요. raw=True에 대해서는 주피터노트북으로 어떻게 구현할 수 있을까요?
안녕하세요! 평소 파이썬 공부를 하다가 헷갈렸던 부분이 있는데, 경로를 설정할 때 ./과 /의 차이에 대해서 알 수 있을까요? cv2_image = cv2.imread('./content/data/beatles01.jpg') cv2_image = cv2.imread('/content/data/beatles01.jpg')
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Llama2 학습시 일반 질문 답변 관련 해서 문의드립니다. 이번강의에서 Llama2를 파인튜닝하는것 으로 알고있는데, 기본적으로 학습되어있는 모델을 추가 정보를 넣어준다는 개념으로 알고 있었습니다. 결과 테스트시, 20문장 외엔 어떠한 답변도 못하는것을 확인 했는데, 저희가 사용한 모델(TinyPixel/Llama-2-7B-bf16-sharded)이 정보도 가지고 있지않아서그런건가요? 기본적인 대화가 가능한 모델은 어떤게 있을까요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. IMDBDataset 파일 다운로드가 안되는데 어떻게 받을 수 있을까요? > !gdown https://drive.google.com/uc?id=1RFs-jV18dy9I3cWQ2M80kHfON-fDCerg ------------------------------------------- Access denied with the following error: Cannot retrieve the public link of the file. You may need to change the permission to 'Anyone with the link', or have had many accesses. You may still be able to access the file from the browser: https://drive.google.com/uc?id=1RFs-jV18dy9I3cWQ2M80kHfON-fDCerg
실제 캐글(Kaggle) 문제 풀고, 제출해보며, 성능 개선 기법 익히기5 강의에서 질문입니다. 해당 강의 2:50 부분부터 Evaluation 코드에 관해 설명을 해주셨는데요, with torch.no _grad() 안쪽의 코드에서는 with torch.no_grad(): model.eval() ret = None for img, fileid in data_loader: img = img.to(device) pred = model(img) ids += list(fileid) # ex) [1, 2] + [3, 4] -> [1, 2, 3, 4] if ret is None: ret = pred.cpu().numpy() else: ret = np.vstack([ret, pred.cpu().numpy()]) return ret, ids pred.cpu().numpy()와 같이 detach()를 따로 사용하지 않은 걸 볼 수 있었습니다. detach()의 사용에 관해서 찾아보니, with torch.no _grad() 블록은 역전파(gradient 계산)를 비활성화 하므로, pred는 gradient 계산과 관련이 없기에, detach()를 따로 호출하지 않고 numpy 배열로 변환할 수 있다 라는 내용을 찾을 수 있었습니다. 그 전에 수업 시간에 보여주신 코드에서는 model.eval() with torch.no_grad(): for x_minibatch in x_test_batch_list: y_minibatch_pred = model(x_minibatch) print(len(y_minibatch_pred), y_minibatch_pred.shape) y_pred_list.extend(y_minibatch_pred.squeeze().detach().tolist()) 이와 같이 with torch.no _grad() 안에서도 detach()를 사용하신 코드들을 볼 수 있었는데요, Evaluation 단계에서 detach()의 사용이 필수적인 것인지 여쭙고 싶습니다!
안녕하세요 강사님 ㅎㅎ 강의 너무 잘 듣고 있습니다. 다름이 아니라. 15:40 에 많이 사용하는 것이 SGC + 스케줄링 또는 SGD + 모멘텀 + 스케줄링 이라고 말씀하셨는데요. 해당 부분을 코드로 나타내면 이렇게 되는게 맞을까요? import torch import torch.optim as optim # SGD + 스케줄링 optimizer = optim.SGD(model.parameters(), lr=0.01) # SGD + 스케줄링 + 모멘텀 optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) for epoch in range(num_epochs): ... for inputs, targets in train_loader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() scheduler.step() 감사합니다.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
colab무료 자원이 없어서, jupyter notebook환경에서 fine-turning을 진행하는데 CUDA Version: 12.2 에서 autotrain llm시 libcusparse.so.11: cannot open shared object file: No such file or directory 에러가 발생하고 있습니다. 혹시 해결방법을 조언받을수 있을까요?
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
openai.FineTuningJob.create(training_file="file-G8e3McuXFWVZnm1XSNB-----", model="gpt-3.5-turbo") 위의 코드에 대해서 아래와 같이 메세지가 나오면서 실행이 안됩니다 ㅠㅜ { "name": "AttributeError", "message": "module 'openai' has no attribute 'FineTuningJob'", "stack": "--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /Users/loveyourself/dev/LLM/chatBot/worKBee/worKBee.ipynb 셀 3 line 1 ----> <a href='vscode-notebook-cell:/Users/loveyourself/dev/LLM/chatBot/worKBee/worKBee.ipynb#W3sZmlsZQ%3D%3D?line=0'>1</a> openai.FineTuningJob.create(training_file=\"file-G8e3McuXFWVZnm1XSNBtMrmA\", model=\"gpt-3.5-turbo\") AttributeError: module 'openai' has no attribute 'FineTuningJob'" } FineTuningJob 이 없다고 하는데 어떻게 해야하나요..