1.위의 그림에서 weight가 정규분포(Gaussian distribution)를 따르기 때문에 각 layer의 input의 분포도 정규분포를 따른다고 말씀해주셨는데 그 이유가 궁금합니다.. 2.표준화(Z~N(0,1))를 위해서는 확률분포가 정규분포여야 한다고 알고 있습니다.. 그래서 batch normalization의 위의 식에서 x가 정규분포를 가져야 한다고 생각했는데 학습 데이터셋은 직접 정규분포를 가지게 넣는다고 가정하더라도 그 다음에 있는 convolutional layer의 weight가 gradient descent에 의해 업데이트 되어 더이상 정규분포를 따르지 않으면 출력값이 정규분포를 따르지 않을수도 있지 않을까요...?
저의 데이터 컬럼수가 5개인데 여기에 DNN 의 Dense 적용하는 부분에서 위와 같이 설정을 하였습니다. 그랬더니 precision과 recall 수치가 이상하게 나오는데 제 생각은 항목수가 적기 때문에 dense 부분이 굳이 세개가 필요없다는 것과 dropout도 없어도 될 듯 싶은데 어떻해 해야 recall의 수치가 높아질 수 있을까요
현재 Yolo를 이용해 물체의 LED를 찾아내는 학습을 진행중입니다. 컴퓨터 비전 관련 연구 중에 Domain Randomization 관련 내용을 접하고, 이를 접목시키고자 현실의 모델 대신 3D 모델을 만들어 모델의 이미지로 학습을 대신 진행해보았습니다. 그런데 3D 모델로 학습 -> 현실의 모델 내 LED를 찾음 <<<< LED의 인식률이 너무 떨어져서 문제입니다. 다양한 사진으로 학습해도 보통 공통점을 학습해서 탐지하는 것이 보통인데, 실제 현실 모델과 최대한 비슷하게 모델링해서 학습하는데도 왜 인식률이 처참한걸까요? 어느 부분을 고려해야 하는지 궁금합니다..
9강 [실습] PyTorch 기초 - Tensor 강의에서 질문 있습니다. Lesson/inflearn_practicals 폴더에 아무 파일도 들어있지 않은데, 폴더가 원래 구성이 되어 있는 것이 아니고 파일을 직접 다운로드해서 폴더를 알아서 구성하는건가요? Jupyter notebook 상에서 강사님처럼 section이 모두 뜨지 않아 질문 드립니다.
@triton.jit def add_kernel(x_ptr, y_ptr, z_ptr, size, block_size: tl.constexpr): (...) def add(x, y): z = (...) size = (...) def grid(meta): return (triton.cdiv(size, meta["block_size"]),) add_kernel[grid](x, y, z, size, 1024) return z 안녕하세요 vector_ add.py 를 보던 중, 코드 라인이 실행되는 순서가 궁금하여 질문남깁니다 수업에서 runtime 때 meta가 받아진다고 말씀해주셨는데요. 그렇다면 코드가 실행되는 순서가 runtime 동안 add_kernel의 argument로 들어온 x, y, z, size, 1024가 meta로 받아지고 meta를 이용해 grid가 (n, )의 형태로 set되고 그 이후 add_kernel이 실행된다 가 맞을까요? 또 하나 궁금한 것은 아래 라인이 실행될 때 @triton.jit 데코레이터의 역할인데요 add_kernel[grid](x, y, z, size, 1024) (x, y, z, size, 1024)를 meta로 받아준다 그 meta가 적용된 특정 grid 설정 위에서 add_kernel 함수가 실행될 수 있게 해준다 일까요? 파이썬에서 원래 함수는 subscriptable하지 않아, 위 syntax가 생소해서 질문드립니다
안녕하세요 hello _triton.p y가 실행이 되지 않아 질문남깁니다 현재 cuda==11.8 pytorch==2.1.2 triton==2.1 의 환경을 사용하고 있습니다 hello _triton.p y 실행 시 아래 오류가 뜹니다 Traceback (most recent call last): File "/home/furiosa/Desktop/workspace/Triton/practice-triton/hel lo_triton .py", line 28, in <module> def hello_triton(): File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packages/triton/r untime /jit.py", line 542, in jit return decorator(fn) File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packages/trit on/run time/jit.py", line 534, in decorator return JITFunction( File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packages/ triton /runtime/jit.py", line 4 33, in i nit self.run = self._make_launcher() File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packa ges/tr iton/runtime/jit.py", line 400, in make launcher exec(src, scope) File "<string>", line 2 def hello_triton(, grid=None, num_warps=4, num_stages=3, extern_libs=None, stream=None, warmup=False, device=None, device_type=None): ^ SyntaxError: invalid syntax triton==2.2 가 아니라 2.1을 사용하는 이유는, hello _triton.p y 실행 시 아래 오류가 떴기 때문입니다 RuntimeError: Triton Error [CUDA]: device kernel image is invalid 공식홈페이지에서 제공하는 01-vetor-add.py 같은 경우 실행이 잘됩니다 triton을 사용하기 위한 최적환경은 무엇인지 별 설명이 없었던 것 같은데요 어떤 cuda/pytorch 환경을 사용해야 오류가 가장 안나고 안정적인가요? 위 오류는 왜 일어나고 어떻게 해결할까요? 인터넷에도 크게 도움되는 정보는 없어서 부득이 질문 남깁니다ㅠㅠ
안녕하세요? 강의 스타일은 일반인들이 접하기 쉽게 잘 만들어진 것 같습니다. 그런데 엑셀파일(excel_deep_함수구성.xlsm) 다운로드를 받았는데 내용이 보이지 않는군요... 매크로 포함파일이라 그런지 ? 어떤 이유인지 잘 모르겠습니다. Office 2016이고, 경고창 나왔을 때 "편집사용"으로 하였습니다. 수고하세요.
안녕하세요.. 데이터세트에 대한 질문이 있습니다. 강의에서 train, validation으로 테이터 세트를 나누어서 진행하는 부분에서, 훈련용 데이터세트는 당연히 훈련 전용일것이고, Validation의 경우 epoch 를 반복하면서 모델 검정 간격을 정해주면 그때 사용 하는것 같은데.. 여기서 질문이 있습니다. Validation에서 객체를 잘못 구분할 경우 이것이 피드백이 되어 모델 훈련에 반영이 되는것인지요? 아니면 단순하게 mAP, mAR 만 확인하는 것인지요? 만약 mAP, mAR 을 확인하는 것이라면 시간을 절약하기 위해서 validation 데이터 세트에 대한 검정간격을 자주 하지 않아도 되지 않을까 싶은데 이러한 판단이 맞는 것인지 궁급합니다. 만약 반대로 validation. 데이터 세트에 대한 검정자체가 모델 훈련에 직접적으로 피이드백을 해서 훈련 결과에 개선효과가 있다면 검정을 자주 하는 것이 좋은것인지요?? 이와는 별개로 GPU 성능에 따라서 동일한 데이터세트와 동일한 조건에 대한 학습 결과가 달라질수 있는지요??? 만약 그렇다면 GPU 성능을 높이고 batch size를 많이 할수록 학습 결과가 개선이 되는 것으로 이해하는 것이 맞는지요?? 항상 좋은 강의 고맙습니다.
안녕하세요! 모든 강의가 다 나오지는 않았지만 너무 좋은 강의인 것 같아 먼저 결제를 했습니다 ㅎㅎ 혹시 바쁘시겠지만 섹션 4. Triton 톺아보기(TBD)에 대한 업데이트 계획을 알려주실 수 있을까요? 제목만 봐서는 Triton 전체 개괄을 해주는 것 같아 꼭 들어보고 싶습니다 업데이트 해주실동안 열심히 따라가고있겠습니다~~~! 고급 강의도 기대 중입니다! 감사합니다!
6-5 섹션에서 Loss를 W(3)로 미분한 결과( = tW(3))를 계산하는 수식에 관련해서 질문이 있습니다..! 위의 사진과 같이 계산을 해보았는데 결과가 tW(3)이 아닌 2tW(3)으로 나오게 되었습니다.. Jacobian 개념이 생소하여 제대로 계산을 하였는지 잘 모르겠어서.. 혹시 계산에서 잘못된 부분을 알려주실 수 있을까요...??
The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead. 라고 뜨는데 제 Tensorflow 버전은 2.15이라 버전 차이인지 궁금합니다.
강의 내용을 바탕으로 저의 데이터를 가지고 적용하려하는데 질문이 있습니다. 제가 가지고 있는 데이터는 이렇습니다. 이것을 가지고 165번 파일을 바탕으로 c7을 제외하고 로그 스케일 후 동일하게 따라했는데 아래의 수치가 나왔습니다. 머가 잘못된 걸까요? c7을 제외한 나머지 항목을 로그 스케일 했었는데 이곳이 문제일까요?
학습 관련된 질문 같아서 남깁니다. 다름이 아니라 아이폰15프로맥스에서 모바일 인프런 영상 재생시 무한 버퍼링이 걸리면서 영상 재생이 되질 않습니다 다른 강의 영상들은 잘 재생되는데 현재 딥러닝 강의만 영상 재생이 안됩니다. 유일하게 3강 Window 환경설정 영상만 재생이 잘 됩니다 혹시 무한 버퍼링을 없애는 해결 방법을 알 수 있을까요
섹션1-2 데이터 전처리부분의 24분 쯤의 코드입니다 plt.scatter(train_input[:,0], train_input[:,1]) plt.scatter(25, 150, marker='^') plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D') plt.xlabel('length') plt.ylabel('weight') plt.show () 이부분을 따라 쳤는데 자꾸 똑같은 에러가 나서 진행이 안되서 말씀 드립니다 TypeError: list indices must be integers or slices, not tuple 이렇게 뜨고 어디가 문제인지 잘 모르겠어서 질문드립니다
강사님, 안녕하세요! 항상 좋은 강의 잘 보고 있습니다 :D 4-3강 교차 검증(Cross-Validation)에서 best model을 어떻게 선정하는 것인지 조금 헷갈려 질문 드립니다. 예를 들어, 본 강의에서는 3개 fold에 대해 cross-validation을 수행하고, 모델의 최종 성능은 <3개 fold의 validation loss의 평균>으로 계산되는 것으로 이해했는데요. 1) 그렇다면 hyperparameter tuning 등을 통해 이 <평균 validation loss>가 가장 낮아지는 모델을 찾아야 하는 것이 맞나요? 다시 말해, 여러 번 cross-validation을 수행함으로써 가장 낮은 <평균 validation loss>를 가지는 모델을 best model로 선정하는 것이 맞는지 궁금합니다. 2) 만약 맞다면, 앞선 강의들에서는 "epoch 마다" loss가 최소화되는지 확인하고 모델 save를 수행했었는데, 이제는 "CV를 수행할 때 마다" loss가 최소화되는지 확인하고 모델 save를 수행하면 되는 것이 맞나요? 3) 마지막으로, 이미 학습된 결과를 바탕으로 best model을 선정했는데 왜 best model에 한 번 더 전체 trainset으로 학습을 진행해줘야 하는지 궁금합니다.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요! 강의 잘 보고 있습니다. llama2 fine-tuning 시 label이 붙은 데이터에 대한 fine-tuning을 하는 내용만 있는데 (supervised learning) label이 없는 text 데이터에 대해 unsupervised learning 방식으로 fine-tuning 하는 방법이 있을까요? 또한 fine-tuning 이후 checkpoint를 기존 pretrained LLM에 통합해서 나만의 LLM을 생성하는 방법에 대해서도 궁금합니다. 새해 복 많이 받으세요. 감사합니다.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 데이터셋부터 생성 후 파인튜닝 하려고 합니다. 제가 가진 데이터는 텍스트 (word) 파일인데 이를 데이터셋으로 변경을 어떻게 하면 될까요? 강의에서는 이미 만들어져있는 데이터셋 가지고 실습하는거라 처음에 데이터셋은 어떻게 생성할 지를 모르겠습니다. 강의에 나와있는 데이터처럼 answer_start, id 이런 값들도 필요한 건가요? 데이터셋 생성하는 예시 코드를 받을 수 있을까요?
안녕하세요. 큰 질문은 아니고 사소한 질문일 수도 있습니다만.. 다름이 아니라, 행렬곱 강의에서 구현한 코드에서는 곱해주는 행렬 크기가 커질수록 오차가 누적되는 듯한(정확히 말하면 파이토치 내장 matmul과 계산 결과가 점점 더 달라지는듯한) 현상이 관찰되어 질문드립니다. 먼저, 실습에서 정의한 코드에서부터 x = torch.randn(16,16,device = 'cuda') y = torch.randn(16,16,device = 'cuda') a = matmul(x,y) b = torch.matmul(x,y) assert torch.allclose(a,b) torch.allclose 의 기본 인자(atol=1e-8, rtol=1e-5) 세팅에서는 assertion error가 발생하여 조건을 완화시켜야(atol=1e-5, rtol=1e-5) assertion이 통과되는 모습을 보였고 x = torch.randn(2048,1024,device = 'cuda') y = torch.randn(1024,256,device = 'cuda') x, y의 크기를 이와 같이 키웠을 경우엔 atol=1e-4, rtol=1e-4로 조건을 완화시켜야 assertion을 통과하는 모습을 보였습니다. triton kernel로 구현한 행렬곱 연산과 PyTorch 내장 matmul 연산 모두 fp32로 연산이 이루어지고 있는데, 이러한 오차가 발생할 수 있는 원인에 무엇이 있는지 궁금해서 질문 드립니다.