inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

13 표준화에 관한 질문

해결됨

딥러닝 이론 + PyTorch 실무 완전 정복

1.위의 그림에서 weight가 정규분포(Gaussian distribution)를 따르기 때문에 각 layer의 input의 분포도 정규분포를 따른다고 말씀해주셨는데 그 이유가 궁금합니다.. 2.표준화(Z~N(0,1))를 위해서는 확률분포가 정규분포여야 한다고 알고 있습니다.. 그래서 batch normalization의 위의 식에서 x가 정규분포를 가져야 한다고 생각했는데 학습 데이터셋은 직접 정규분포를 가지게 넣는다고 가정하더라도 그 다음에 있는 convolutional layer의 weight가 gradient descent에 의해 업데이트 되어 더이상 정규분포를 따르지 않으면 출력값이 정규분포를 따르지 않을수도 있지 않을까요...?

  • 딥러닝
  • pytorch
  • NLP
  • 컴퓨터-비전
  • cnn
  • rnn
  • transformer
  • llm
청큐비 댓글 1 좋아요 1 조회수 369

features 수가 작을 경우의 Dense 설정 문의

미해결

실전! 머신러닝/딥러닝 이상거래 탐지 마스터 클래스

저의 데이터 컬럼수가 5개인데 여기에 DNN 의 Dense 적용하는 부분에서 위와 같이 설정을 하였습니다. 그랬더니 precision과 recall 수치가 이상하게 나오는데 제 생각은 항목수가 적기 때문에 dense 부분이 굳이 세개가 필요없다는 것과 dropout도 없어도 될 듯 싶은데 어떻해 해야 recall의 수치가 높아질 수 있을까요

  • 머신러닝
  • 딥러닝
닉네임 댓글 1 좋아요 0 조회수 281

Yolo를 이용한 객체 탐지 관련 질문

미해결

현재 Yolo를 이용해 물체의 LED를 찾아내는 학습을 진행중입니다. 컴퓨터 비전 관련 연구 중에 Domain Randomization 관련 내용을 접하고, 이를 접목시키고자 현실의 모델 대신 3D 모델을 만들어 모델의 이미지로 학습을 대신 진행해보았습니다. 그런데 3D 모델로 학습 -> 현실의 모델 내 LED를 찾음 <<<< LED의 인식률이 너무 떨어져서 문제입니다. 다양한 사진으로 학습해도 보통 공통점을 학습해서 탐지하는 것이 보통인데, 실제 현실 모델과 최대한 비슷하게 모델링해서 학습하는데도 왜 인식률이 처참한걸까요? 어느 부분을 고려해야 하는지 궁금합니다..

  • yolo
  • 객체탐지
  • 컴퓨터비전
  • 딥러닝
pgwg 댓글 1 좋아요 0 조회수 359

Jupyter Notebook환경 관련 질문

해결됨

딥러닝 이론 + PyTorch 실무 완전 정복

9강 [실습] PyTorch 기초 - Tensor 강의에서 질문 있습니다. Lesson/inflearn_practicals 폴더에 아무 파일도 들어있지 않은데, 폴더가 원래 구성이 되어 있는 것이 아니고 파일을 직접 다운로드해서 폴더를 알아서 구성하는건가요? Jupyter notebook 상에서 강사님처럼 section이 모두 뜨지 않아 질문 드립니다.

  • 딥러닝
  • pytorch
  • NLP
  • 컴퓨터-비전
  • cnn
  • rnn
  • transformer
  • llm
경전석 댓글 1 좋아요 1 조회수 397

코드가 실행되는 순서에 관하여

해결됨

삼각형의 실전! OpenAI Triton 초급

@triton.jit def add_kernel(x_ptr, y_ptr, z_ptr, size, block_size: tl.constexpr): (...) def add(x, y): z = (...) size = (...) def grid(meta): return (triton.cdiv(size, meta["block_size"]),) add_kernel[grid](x, y, z, size, 1024) return z 안녕하세요 vector_ add.py 를 보던 중, 코드 라인이 실행되는 순서가 궁금하여 질문남깁니다 수업에서 runtime 때 meta가 받아진다고 말씀해주셨는데요. 그렇다면 코드가 실행되는 순서가 runtime 동안 add_kernel의 argument로 들어온 x, y, z, size, 1024가 meta로 받아지고 meta를 이용해 grid가 (n, )의 형태로 set되고 그 이후 add_kernel이 실행된다 가 맞을까요? 또 하나 궁금한 것은 아래 라인이 실행될 때 @triton.jit 데코레이터의 역할인데요 add_kernel[grid](x, y, z, size, 1024) (x, y, z, size, 1024)를 meta로 받아준다 그 meta가 적용된 특정 grid 설정 위에서 add_kernel 함수가 실행될 수 있게 해준다 일까요? 파이썬에서 원래 함수는 subscriptable하지 않아, 위 syntax가 생소해서 질문드립니다

  • python
  • 딥러닝
  • cnn
  • gpgpu
  • dropout
  • openai
  • argmax
  • relu
  • triton
  • kernel-programming
tritonman 댓글 1 좋아요 0 조회수 407

실행을 위한 최적 환경

해결됨

삼각형의 실전! OpenAI Triton 초급

안녕하세요 hello _triton.p y가 실행이 되지 않아 질문남깁니다 현재 cuda==11.8 pytorch==2.1.2 triton==2.1 의 환경을 사용하고 있습니다 hello _triton.p y 실행 시 아래 오류가 뜹니다 Traceback (most recent call last): File "/home/furiosa/Desktop/workspace/Triton/practice-triton/hel lo_triton .py", line 28, in <module> def hello_triton(): File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packages/triton/r untime /jit.py", line 542, in jit return decorator(fn) File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packages/trit on/run time/jit.py", line 534, in decorator return JITFunction( File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packages/ triton /runtime/jit.py", line 4 33, in i nit self.run = self._make_launcher() File "/home/furiosa/miniconda3/envs/triton/lib/python3.10/site-packa ges/tr iton/runtime/jit.py", line 400, in make launcher exec(src, scope) File "<string>", line 2 def hello_triton(, grid=None, num_warps=4, num_stages=3, extern_libs=None, stream=None, warmup=False, device=None, device_type=None): ^ SyntaxError: invalid syntax triton==2.2 가 아니라 2.1을 사용하는 이유는, hello _triton.p y 실행 시 아래 오류가 떴기 때문입니다 RuntimeError: Triton Error [CUDA]: device kernel image is invalid 공식홈페이지에서 제공하는 01-vetor-add.py 같은 경우 실행이 잘됩니다 triton을 사용하기 위한 최적환경은 무엇인지 별 설명이 없었던 것 같은데요 어떤 cuda/pytorch 환경을 사용해야 오류가 가장 안나고 안정적인가요? 위 오류는 왜 일어나고 어떻게 해결할까요? 인터넷에도 크게 도움되는 정보는 없어서 부득이 질문 남깁니다ㅠㅠ

  • python
  • 딥러닝
  • cnn
  • gpgpu
  • dropout
  • openai
  • argmax
  • relu
  • triton
  • kernel-programming
tritonman 댓글 1 좋아요 1 조회수 885

강의자료 다운로드 관련

미해결

엑셀로 만드는 딥러닝 프레임워크

안녕하세요? 강의 스타일은 일반인들이 접하기 쉽게 잘 만들어진 것 같습니다. 그런데 엑셀파일(excel_deep_함수구성.xlsm) 다운로드를 받았는데 내용이 보이지 않는군요... 매크로 포함파일이라 그런지 ? 어떤 이유인지 잘 모르겠습니다. Office 2016이고, 경고창 나왔을 때 "편집사용"으로 하였습니다. 수고하세요.

  • 딥러닝
  • excel
  • VBA
  • 강화학습
  • gan
safecoin365 댓글 3 좋아요 1 조회수 488

데이터 세트에 대한 기능 부분 질문입니다.

해결됨

[개정판] 딥러닝 컴퓨터 비전 완벽 가이드

안녕하세요.. 데이터세트에 대한 질문이 있습니다. 강의에서 train, validation으로 테이터 세트를 나누어서 진행하는 부분에서, 훈련용 데이터세트는 당연히 훈련 전용일것이고, Validation의 경우 epoch 를 반복하면서 모델 검정 간격을 정해주면 그때 사용 하는것 같은데.. 여기서 질문이 있습니다. Validation에서 객체를 잘못 구분할 경우 이것이 피드백이 되어 모델 훈련에 반영이 되는것인지요? 아니면 단순하게 mAP, mAR 만 확인하는 것인지요? 만약 mAP, mAR 을 확인하는 것이라면 시간을 절약하기 위해서 validation 데이터 세트에 대한 검정간격을 자주 하지 않아도 되지 않을까 싶은데 이러한 판단이 맞는 것인지 궁급합니다. 만약 반대로 validation. 데이터 세트에 대한 검정자체가 모델 훈련에 직접적으로 피이드백을 해서 훈련 결과에 개선효과가 있다면 검정을 자주 하는 것이 좋은것인지요?? 이와는 별개로 GPU 성능에 따라서 동일한 데이터세트와 동일한 조건에 대한 학습 결과가 달라질수 있는지요??? 만약 그렇다면 GPU 성능을 높이고 batch size를 많이 할수록 학습 결과가 개선이 되는 것으로 이해하는 것이 맞는지요?? 항상 좋은 강의 고맙습니다.

  • python
  • 머신러닝
  • 딥러닝
  • keras
  • tensorflow
  • 컴퓨터-비전
Ramnant 댓글 1 좋아요 0 조회수 254

Fine-tuning 문의

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

안녕하세요 Fine-tuning 관련하여 궁금한 것이 있습니다. 제 데이터로 Fine-tuning 을 하면 기존 학습 데이터는 사라지는 건가요? Fine-tuning 한 데이터셋은 어디에 저장되나요? 파라미터 값만 저장되고 데이터셋은 따로 저장이 되는 것이 아닌가요?

  • 딥러닝
  • pytorch
  • chatgpt
  • llm
  • llama
juhee.kang 댓글 2 좋아요 0 조회수 389

강의 계획에 대하여

해결됨

삼각형의 실전! OpenAI Triton 초급

안녕하세요! 모든 강의가 다 나오지는 않았지만 너무 좋은 강의인 것 같아 먼저 결제를 했습니다 ㅎㅎ 혹시 바쁘시겠지만 섹션 4. Triton 톺아보기(TBD)에 대한 업데이트 계획을 알려주실 수 있을까요? 제목만 봐서는 Triton 전체 개괄을 해주는 것 같아 꼭 들어보고 싶습니다 업데이트 해주실동안 열심히 따라가고있겠습니다~~~! 고급 강의도 기대 중입니다! 감사합니다!

  • python
  • 딥러닝
  • cnn
  • gpgpu
  • dropout
  • openai
  • argmax
  • relu
  • triton
  • kernel-programming
tritonman 댓글 1 좋아요 0 조회수 375

6-5 수식에 관한 질문

해결됨

딥러닝 이론 + PyTorch 실무 완전 정복

6-5 섹션에서 Loss를 W(3)로 미분한 결과( = tW(3))를 계산하는 수식에 관련해서 질문이 있습니다..! 위의 사진과 같이 계산을 해보았는데 결과가 tW(3)이 아닌 2tW(3)으로 나오게 되었습니다.. Jacobian 개념이 생소하여 제대로 계산을 하였는지 잘 모르겠어서.. 혹시 계산에서 잘못된 부분을 알려주실 수 있을까요...??

  • 딥러닝
  • pytorch
  • NLP
  • 컴퓨터-비전
  • cnn
  • rnn
  • llm
청큐비 댓글 1 좋아요 1 조회수 290

라이브러리 임포트 시 경고 메세지가 뜹니다.

미해결

실전! 머신러닝/딥러닝 이상거래 탐지 마스터 클래스

The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead. 라고 뜨는데 제 Tensorflow 버전은 2.15이라 버전 차이인지 궁금합니다.

  • 머신러닝
  • 딥러닝
닉네임 댓글 1 좋아요 0 조회수 634

오토인코더를 특성 추출기로 사용하는 방법에 대해 질문

미해결

실전! 머신러닝/딥러닝 이상거래 탐지 마스터 클래스

강의 내용을 바탕으로 저의 데이터를 가지고 적용하려하는데 질문이 있습니다. 제가 가지고 있는 데이터는 이렇습니다. 이것을 가지고 165번 파일을 바탕으로 c7을 제외하고 로그 스케일 후 동일하게 따라했는데 아래의 수치가 나왔습니다. 머가 잘못된 걸까요? c7을 제외한 나머지 항목을 로그 스케일 했었는데 이곳이 문제일까요?

  • 머신러닝
  • 딥러닝
닉네임 댓글 1 좋아요 0 조회수 311

여기 질문 드려도 되는지 모르겠지만

미해결

딥러닝 이론 + PyTorch 실무 완전 정복

학습 관련된 질문 같아서 남깁니다. 다름이 아니라 아이폰15프로맥스에서 모바일 인프런 영상 재생시 무한 버퍼링이 걸리면서 영상 재생이 되질 않습니다 다른 강의 영상들은 잘 재생되는데 현재 딥러닝 강의만 영상 재생이 안됩니다. 유일하게 3강 Window 환경설정 영상만 재생이 잘 됩니다 혹시 무한 버퍼링을 없애는 해결 방법을 알 수 있을까요

  • 딥러닝
  • pytorch
  • NLP
  • 컴퓨터-비전
  • cnn
  • rnn
  • transformer
  • llm
eunsekkang 댓글 2 좋아요 1 조회수 565

5강 데이터 전처리 부분에서 에러 질문입니다

미해결

혼자 공부하는 머신러닝+딥러닝

섹션1-2 데이터 전처리부분의 24분 쯤의 코드입니다 plt.scatter(train_input[:,0], train_input[:,1]) plt.scatter(25, 150, marker='^') plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D') plt.xlabel('length') plt.ylabel('weight') plt.show () 이부분을 따라 쳤는데 자꾸 똑같은 에러가 나서 진행이 안되서 말씀 드립니다 TypeError: list indices must be integers or slices, not tuple 이렇게 뜨고 어디가 문제인지 잘 모르겠어서 질문드립니다

  • 머신러닝
  • 딥러닝
지원 댓글 1 좋아요 0 조회수 469

4-3강 cross-validation에서의 best model 선정 기준

해결됨

[파이토치] 실전 인공지능으로 이어지는 딥러닝 - 기초부터 논문 구현까지

강사님, 안녕하세요! 항상 좋은 강의 잘 보고 있습니다 :D 4-3강 교차 검증(Cross-Validation)에서 best model을 어떻게 선정하는 것인지 조금 헷갈려 질문 드립니다. 예를 들어, 본 강의에서는 3개 fold에 대해 cross-validation을 수행하고, 모델의 최종 성능은 <3개 fold의 validation loss의 평균>으로 계산되는 것으로 이해했는데요. 1) 그렇다면 hyperparameter tuning 등을 통해 이 <평균 validation loss>가 가장 낮아지는 모델을 찾아야 하는 것이 맞나요? 다시 말해, 여러 번 cross-validation을 수행함으로써 가장 낮은 <평균 validation loss>를 가지는 모델을 best model로 선정하는 것이 맞는지 궁금합니다. 2) 만약 맞다면, 앞선 강의들에서는 "epoch 마다" loss가 최소화되는지 확인하고 모델 save를 수행했었는데, 이제는 "CV를 수행할 때 마다" loss가 최소화되는지 확인하고 모델 save를 수행하면 되는 것이 맞나요? 3) 마지막으로, 이미 학습된 결과를 바탕으로 best model을 선정했는데 왜 best model에 한 번 더 전체 trainset으로 학습을 진행해줘야 하는지 궁금합니다.

  • python
  • 머신러닝
  • 딥러닝
  • 인공신경망
  • pytorch
벽타는너구리 댓글 1 좋아요 0 조회수 508

GPT3모델 리뷰

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

안녕하세요! GPT1,2,3 논문들 리뷰 잘 보았습니다! GPT3모델은 아직 리뷰가 다 끝나지 않은거 같은데, 언제쯤 영상이 업로드될 지 알 수 있을까요?

  • 딥러닝
  • pytorch
  • chatgpt
  • llm
dev 댓글 1 좋아요 0 조회수 364

fine-tuning 관련 질문

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

안녕하세요! 강의 잘 보고 있습니다. llama2 fine-tuning 시 label이 붙은 데이터에 대한 fine-tuning을 하는 내용만 있는데 (supervised learning) label이 없는 text 데이터에 대해 unsupervised learning 방식으로 fine-tuning 하는 방법이 있을까요? 또한 fine-tuning 이후 checkpoint를 기존 pretrained LLM에 통합해서 나만의 LLM을 생성하는 방법에 대해서도 궁금합니다. 새해 복 많이 받으세요. 감사합니다.

  • 딥러닝
  • pytorch
  • chatgpt
  • llm
  • llama
로보카압투 댓글 2 좋아요 0 조회수 598

LLM 파인튜닝 데이터셋 질문

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

안녕하세요 데이터셋부터 생성 후 파인튜닝 하려고 합니다. 제가 가진 데이터는 텍스트 (word) 파일인데 이를 데이터셋으로 변경을 어떻게 하면 될까요? 강의에서는 이미 만들어져있는 데이터셋 가지고 실습하는거라 처음에 데이터셋은 어떻게 생성할 지를 모르겠습니다. 강의에 나와있는 데이터처럼 answer_start, id 이런 값들도 필요한 건가요? 데이터셋 생성하는 예시 코드를 받을 수 있을까요?

  • 딥러닝
  • pytorch
  • chatgpt
  • llm
  • llama
juhee.kang 댓글 1 좋아요 0 조회수 1501

행렬곱 오차 문제

해결됨

삼각형의 실전! OpenAI Triton 초급

안녕하세요. 큰 질문은 아니고 사소한 질문일 수도 있습니다만.. 다름이 아니라, 행렬곱 강의에서 구현한 코드에서는 곱해주는 행렬 크기가 커질수록 오차가 누적되는 듯한(정확히 말하면 파이토치 내장 matmul과 계산 결과가 점점 더 달라지는듯한) 현상이 관찰되어 질문드립니다. 먼저, 실습에서 정의한 코드에서부터 x = torch.randn(16,16,device = 'cuda') y = torch.randn(16,16,device = 'cuda') a = matmul(x,y) b = torch.matmul(x,y) assert torch.allclose(a,b) torch.allclose 의 기본 인자(atol=1e-8, rtol=1e-5) 세팅에서는 assertion error가 발생하여 조건을 완화시켜야(atol=1e-5, rtol=1e-5) assertion이 통과되는 모습을 보였고 x = torch.randn(2048,1024,device = 'cuda') y = torch.randn(1024,256,device = 'cuda') x, y의 크기를 이와 같이 키웠을 경우엔 atol=1e-4, rtol=1e-4로 조건을 완화시켜야 assertion을 통과하는 모습을 보였습니다. triton kernel로 구현한 행렬곱 연산과 PyTorch 내장 matmul 연산 모두 fp32로 연산이 이루어지고 있는데, 이러한 오차가 발생할 수 있는 원인에 무엇이 있는지 궁금해서 질문 드립니다.

  • python
  • 딥러닝
  • cnn
  • gpgpu
  • dropout
  • openai
  • argmax
  • relu
  • triton
  • kernel-programming
아담한 고슴도치 댓글 2 좋아요 1 조회수 473

인기 태그

인프런 TOP Writers

주간 인기글