🤍 전 강의 25% 할인 중 🤍

2024년 상반기를 돌아보고 하반기에도 함께 성장해요!
인프런이 준비한 25% 할인 받으러 가기 >>

  • 카테고리

    질문 & 답변
  • 세부 분야

    컴퓨터 비전

  • 해결 여부

    미해결

Weight Initialization 강의 관련 질문드립니다.

21.07.13 13:44 작성 조회수 118

0

 Xavier Initialization과 He Initialization을 학습한 후, he_normal을 실습하는 시간이 있었습니다. 그런데, 해당 실습 과정에서 Conv2D Layer에만 he_normal을 적용하였고, Dense Layer에는 그대로 glorot_uniform이 사용되었음을 확인할 수 있었습니다. 마지막 출력 때에는 sigmoid가 사용되었으니 glorot_uniform을 그대로 사용하는 것에 큰 문제를 느끼지 못 하였으나, Flatten Layer 이후에 적용된 Dense Layer는 ReLU를 사용함에도 왜  kernel_initializer를 he_normal로 바꾸지 않았는지 궁금합니다. Dense Layer에도 동일하게 kernel_initializer 변수가 있는 것으로 알고 있는데, Conv2D Layer만 kernel_initializer를 변경하신 이유가 따로 있을까요?

 좋은 강의를 제공해주셔서 감사합니다.

답변 1

답변을 작성해보세요.

0

안녕하십니까, 

음, 날카로우시군요. 

별 다른 이유가 없습니다. Conv weight에 촛점을 맞추다보니 마지막에 Dense 적용은 빼먹고(?) 적용하지 않았습니다.  양해 부탁드립니다. 

감사합니다. 

채널톡 아이콘