Dense 레이어의 units 질문입니다!

Question

안녕하세요. 좋은 강의 열심히 듣고 있습니다.   선생님께서 시퀀셜 모델의 히든 레이어에   Dense(32, input_shape ...) Dense(16, ...) Dense(1, ...)   이런 식으로 3개의 레이어를 추가하셨는데, 32나 16이라는 값은 어디서 왔는지 잘 모르겠습니다.   임의대로 해도 되는 건지, 값을 크게 줄 때와 작게 줄 때의 장단점 등.. 궁금합니다   감사합니다!

YoungJea Oh · Answer

어떤 규칙이 있는 것은 아니고 경험적인 임의의 값입니다. 32와 16은 은닉층의 neuron 갯수인데 이 갯수가 많으면 neuron 간의 연결 갯수가 많아지는데 이 것은 학습할 weight의 갯수가 많아진다는 뜻이므로 많은 더 학습 data가 필요합니다. 요약하면 학습할 데이터가 많으면 neuron의 갯수를 더 많이 지정 (예, 64, 128 등)하고 은닉층 (hidden layer)수를 더 늘려도 되고, 학습할 데이터가 적으면 weight수를 줄이는 것이 좋으므로 neuron 수와 은닉층 수를 줄이는 것이 좋습니다. 좋은 질문 감사합니다.