Hyper parameters에서 Dropout rate 질문
236
작성한 질문수 14
안녕하세요. Hyper parameter의 종류에 대한 설명 중 Dropout rate에 대한 질문이 있어서 글을 작성합니다.
설명중 Dropout rate는 껍데기뿐인 feature나 hidden layers의 존재가 있을수도 있고, 특정 feature에 의존하는 모델이 생성될 수 있다는 것을 감안하여, overfitting을 방지하기 위해 임의로 neuron의 개수를 조절하는 것이라고 하셨고, %로 정해준다고 하였는데요. 혹시 여기서 말하는 rate가 전체에서 아예 random하게 조절하는 것인지(예를 들면, 1번째 hidden layer에서 줄어드는 neuron의 비율과 2번째 hidden layer에서 줄어드는 neuron의 비율이 다를 수도 있음), 혹은 각 layer에서 줄어드는 neuron의 비율이 모두 같아야 하는 것인지 궁금합니다.
답변 1
0
김민규님 질문의 답변입니다.
Dropout rate는 각 layer 별로 별도로 지정해 주는 것입니다. 예를 들어 첫번째 hidden layer의 뉴론 갯수를 120 개로 정하고 Dropout rate를 0.2로 정해주고, 두번째 hidden layer의 뉴론 갯수를 240 개로 하고 Dropout rate 를 0.1 로 정해주면 ho epoch이 바뀔 때마다 첫번째 120 개중 20%, 두번째 240개 중 10%를 를 임의로 deactivate 시키겠다는 것입니다. 따라서 layer 별로 각각 정해주고 반드시 비율이 같을 필요도 없습니다. 그러나 경험상 같은 비율을 정해주는 것이 보통입니다.
Colab실습관련
0
85
2
get_dummies 관련문의
0
85
2
강의 수강
0
93
1
섹션 10 비지도 학습에 대하여
0
78
1
훈련과 Predict를 분리할수 없나요?
0
109
2
scikit-learn이 업데이트 된 건가요?
0
167
2
feature scaling 부분
0
133
2
MAtplotlib 기초
0
123
1
섹션9 First Autoencoder 인코더, 디코더 모델 생성 오류 해결 방법
0
209
1
섹션7 텐서플로 허브 Trained_MobileNet 모델 생성 오류 해결 방법
0
343
1
Crash 파일 위치
0
266
1
주피터에서 파일 열기
0
324
1
션 7. CNN (Convolutional Neural Network)의 7번째 강의는 실습 - FashionMNIST 데이터셋 이용 실습 문제 풀이 관련 강의 내용순서 문의
0
253
1
DBSCAN 실습 결과
0
268
1
DBSCAN 질문
0
231
1
Feature Scaling 강의 질문 있습니다!
0
262
1
heatmap에서 numeric_only=True
0
311
1
pd.Series
0
228
1
Feature Scaling
0
234
1
categorical 변수의 수치화
0
194
1
Residual Error
1
193
1
매트릭스로 만들어주는 것
1
193
1
tf.data 를 이용한 shuffling and batch 구성 관련 문의
1
379
2
타이타닉 예제에서 혼동되는 개념이있습니다!
1
287
1