-
질문 & 답변
카테고리
-
세부 분야
컴퓨터 비전
-
해결 여부
미해결
8:19 질문있습니다.
21.11.13 10:41 작성 조회수 79
0
1."0으로 최적 수렴~~"부터는 이해가 잘 안됩니다 쌤.
2. Residual blok의 target이 0이면 이미지 학습은 어떻게 진행되는 건가요? 기존에는 사람이면 사람이미지를 주고 지도학습을 하는데 이번 경우는 그냥 숫자 0이 target 값이잖아요. 이런상태에서 입력 이미지의 FM을 어떤 기준으로 연산되는지 알고 싶습니다.
답변을 작성해보세요.
0
권 철민
지식공유자2021.11.14
안녕하십니까,
Residual blok의 target이 0이라는 의미는 지도학습의 target 값이 0이라는 의미가 아닙니다.
f(x)를 0과 가까워 질수 있는 방향성으로 학습을 계속 진행한다는 의미입니다. 즉 identity block을 매우 많은 계층으로 깊이 이어 주려면 개별 f(x) 블럭들이 0이 될 수 있는 방향성으로 계속 학습을 진행하면(물론 loss도 최소화 되어야 합니다). 딥러닝의 층이 깊어 질수록 오히려 성능이 저하되는 현상을 막아주고, 또한 깊은 계층에서 학습이 효과적으로 될 수 있다는 것입니다.
즉 깊어지면 깊어질수록 딥러닝에서 단순히 loss만 줄이는 방향으로 weight를 update하면 오히려 역효과가 날 수 있으니, 개별 block에서 identity를 지향하는 방향성으로 weight를 만들어 주자는게 핵심입니다.
감사합니다.
답변 1