인프런 커뮤니티 질문&답변
작성한 질문수
Hyper parameters에서 Dropout rate 질문
작성
·
199
0
안녕하세요. Hyper parameter의 종류에 대한 설명 중 Dropout rate에 대한 질문이 있어서 글을 작성합니다.
설명중 Dropout rate는 껍데기뿐인 feature나 hidden layers의 존재가 있을수도 있고, 특정 feature에 의존하는 모델이 생성될 수 있다는 것을 감안하여, overfitting을 방지하기 위해 임의로 neuron의 개수를 조절하는 것이라고 하셨고, %로 정해준다고 하였는데요. 혹시 여기서 말하는 rate가 전체에서 아예 random하게 조절하는 것인지(예를 들면, 1번째 hidden layer에서 줄어드는 neuron의 비율과 2번째 hidden layer에서 줄어드는 neuron의 비율이 다를 수도 있음), 혹은 각 layer에서 줄어드는 neuron의 비율이 모두 같아야 하는 것인지 궁금합니다.
답변 1
0
김민규님 질문의 답변입니다.
Dropout rate는 각 layer 별로 별도로 지정해 주는 것입니다. 예를 들어 첫번째 hidden layer의 뉴론 갯수를 120 개로 정하고 Dropout rate를 0.2로 정해주고, 두번째 hidden layer의 뉴론 갯수를 240 개로 하고 Dropout rate 를 0.1 로 정해주면 ho epoch이 바뀔 때마다 첫번째 120 개중 20%, 두번째 240개 중 10%를 를 임의로 deactivate 시키겠다는 것입니다. 따라서 layer 별로 각각 정해주고 반드시 비율이 같을 필요도 없습니다. 그러나 경험상 같은 비율을 정해주는 것이 보통입니다.