pytorch custom layer
939
작성한 질문수 5
안녕하세요! pytorch library에 대한 질문이 있습니다.
저희는 pytorch로 모델을 구현할 때, nn.Module 오버라이딩하여 사전에 존재하는 모듈을 사용하여 모델을 구축합니다. 예를들어 lstm 같은 경우, 파이토치에 이미 lstm block이 구현되어있어서 그대로 가져다 씁니다.
만약 제가 직접 파이토치 상에서 layer를 직접 구축하고 싶을 때, 어떻게 구축해야하는지 궁금합니다. 파이토치 상에서 구현되지 않은 알고리즘을 파이토치로 구현하고 싶습니다.
혹시 참고할 만한 레퍼런스가 있다면 뭐든 너무 감사드립니다.
답변 1
0
안녕하세요.
일반적으로 class를 이용하여 모델을 정의합니다.
이 강의의 마지막에서 모델을 직접 정의하는 것을 보실 수 있구요.
다른 강의 "최신 딥러닝 기술 Vision Transformer 개념부터 Pytorch 구현까지"에서는 비전 트랜스포머 모델을 처음부터 끝까지 만듭니다.
추가적으로 구글 검색 하셔도 되구요 :)
감사합니다.
0
감사합니다! 혹시 말씀 주신 강의에 네트워크 안에 nn.conv2d나 nn.linear 이런 layer들로 네트워크를 구성을 하게 되는데, 해당 layer 자체를 만드는 것, 그리고 layer 내부의 파라미터(wieght 등)를 freeze한다거나 train하는 등 layer 자체에 대한 딥다이브를 진행하시는지 궁금합니다.
0
감사합니다...! 그렇다면 여러 weight들이 존재할 때 nn.Parameter로 정의해준후, 처음에 랜덤한 값으로 weight를 정의하고 특정 weight는 수정하고 어떤 weight수정을 하고싶지 않다면 어떻게 해야할까요...?
0
말씀하신 "수정"이라는게 학습 시 파라메터 업데이트가 된다는 의미이신가요? 고정된 값을 사용하고 싶으시면 torch.FloatTensor와 같은 텐서를 사용하셔도 되고 Parameter를 사용하는 경우인데 고정하고 싶으면 해당 변수에 대해서만 requires_grad를 False로 해주시면 됩니다. 혹시 이제 기본을 배우셨다면 파이토치가 어느정도 숙달 되신 후에 도전하는 것을 추천드립니다. 커스텀할 때 고려해야 할 점이 많습니다. 열공하세요!!
수업자료 제공 부탁드립니다.
0
95
2
코드가 어디에 있는지 모르겠습니다.
0
93
2
논문 구현
0
188
2
overfitting이 나는 이유가 궁금합니다.
1
171
2
분류 성능이 잘 안 나오는 이유
0
217
1
AutoEncoder 차원 질문
1
250
2
사전 학습 모델에서의 layer 변경에 대한 질문
1
221
1
7강 폴더 만들
0
260
1
4-3강 cross-validation에서의 best model 선정 기준
0
450
1
regression 문제에 대한 결과 시각화
0
213
1
Loss function 관련하여 질문드립니다.
0
956
1
early stopping 코드 문의
0
325
1
예측 그래프
0
355
1
데이터 불균형
1
364
1
8강 전이 학습 질문
0
395
2
data의 gpu처리 질문
0
241
1
nn.Linear(1024, 10) 관련 질문드립니다.
0
288
1
학습과 평가시 Loss 함수가 다른 이유
0
249
1
전처리 관련해서 질문 있습니다.
0
225
1
데이터 엔지니어의 역량을 기르려면 어떻게 해야할까요?
0
934
2
역전파 내용 중 미분 관련 질문 드립니다
1
282
1
8강 전이학습에서 kernel size 관련 질문 드립니다.
1
957
1
이미지분류-합성곱신경망(CNN) 피쳐맵 질문입니다.
1
586
1
14강 데이터 불균형 RandomRotation
1
482
1