드랍아웃과 Convolutional Autoencoder에 대한 간단한 질문입니다.

Question

드랍아웃 방법도 노이즈와 같이 첫번째 은닉층에서만 적용되나요?? 9:37쯤에서 하신 말씀은 Convolutional Autoencoder에는 CNN의 classifier부분이 적용될 수 도, 안될 수도 있다는 말씀이신가요? Convolutional Autoencoder에 드랍아웃이 적용된다면 필터에 어떤 부분을 삭제 하는 방식으로 적용하는 건가요??

딥러닝호형 · Answer

안녕하세요! 1. 오토인코더는 classifier 부분이 없습니다. 9:37에서 언급한 것은 latent variable을 일렬로 펼 수도 있고 안 펼수도 있다는 말입니다. 보통  latent variable에서 특징 벡터를 뽑고자 일렬로 하는게 기본적인 구조이나 연구에 따라 정하실 수 있습니다! 2. 매우 좋은 질문입니다!! 일반적으로 구조와 상관 없이 컨볼루셔널 레이어에는 드랍아웃을 적용하지 않습니다. 드랍아웃 컨셉을 잘 생각해 보시면은 일부를 계산하지 않는거죠? 그래서 애초에 계산 할 애들(?)이 어느정도 있어야 효과를 볼 수 있습니다. 하지만 컨볼루셔널 연산은 적은 가중치로 국소 부분의 피쳐값들을 뽑아내는 때문에 정규화가 효과적이지 않습니다. 만약에 "무조건 적용하고 싶다!!"라고 하신다면 이 전 컨볼루셔널 레이어에서 다음 컨볼루셔널 레이어로 넘어갈 때 나온 피쳐맵의 일부를 0으로 만들어 줍니다. 참고로 저는 써본 적 없습니다😅😅

박순성 · Answer

감사합니다!!