-
질문 & 답변
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
활성화함수 inplace=True 관련 질문있습니다.
22.04.20 18:05 작성 조회수 145
0
안녕하세요. 출간하신 Pytorch 입문 책과 함께 공부 중에 GAN 파트에서 질문이 있습니다.
영상에서와 다르게 책에서는 활성화함수층에 일부는 inplace=True 를 설정하여 주셨는데, 그 이유가 무엇인지 잘 이해가 잘 안가고 헷갈리네요.
답변을 작성해보세요.
0
딥러닝호형
지식공유자2022.04.23
안녕하세요!
신경망 측면에서는 inplace와 관계없이 계산에 동일하게 진행됩니다. 다만 연산 측면에서는 inplace=True는 입력 변수를 직접 수정하기 때문에 메모리 사용을 줄여 줄 수 있습니다. 그런데 inplace 방식이 역전파 시 이전 값을 사용해야 하는 경우가 있다면 예기치 못한 상황에서 오류를 발생할 수 있기 때문에 사용하실 때 신경망 구조를 잘 확인하셔야 합니다!
감사합니다.
답변 1