경우에 따른 최적의 활성화 함수 선정하는 방법

안녕하세요!

활성화 함수를 고를 때 보통 세가지 경우를 생각해볼 수 있는데요.

1. 일반적으로는 ReLU계열과 같이 대중적으로 사용하는 활성화 함수를 사용합니다.

2. 활성화 함수 여러개를 비교합니다. 말씀하신 것처럼 모든 함수를 실험 해보지는 않고 레퍼런스들을 참고하거나 대중적인 것들을 고릅니다. 또한 본인의 기준이 있을 수도 있습니다.

3. 어떤 조건에 의해 특정 값의 범위를 얻어야 하는 경우나 이론 등 특정 성질을 유지하기 위해 특정 함수를 사용해야 할 때가 있습니다. 이 때 만족하는 함수가 없으면 새로운 함수를 만들거나 기존의 함수를 튜닝해서 사용합니다. 또한 적용 위치를 바꾸기도 합니다.

딥러닝호형 드림

감사합니다!