경우에 따른 최적의 활성화 함수 선정하는 방법
안녕하세요 호형 선생님.
강의 잘 들었습니다.
이번 ' 개념편 4강 활성화 함수 ' 에서 질문이 있습니다.
진행하는 업무에 따라 ( 인공 신경망의 각 층에 적용하는 ) 최적의 활성화 함수가 무엇인지는 다 다를 수 있다고 하셨는데요.
그럼 그 최적의 활성화 함수가 무엇일지 미리 연역적으로 알 수 있는 방법이 있나요?
( 예를 들면 , 이 문제는 이런 특징이 있으니 , 이런 특징을 잘 나타내는 어쩌구 함수를 활성화 함수로 쓰면 되겠다 등 )
아니면 그냥 결과적으로 모든 종류의 활성화 함수를 하나하나 대입해보며 가장 좋은 성능이 나오는 함수를 선택하는 수 밖에 없나요 ?
감사합니다.
답변 2
1
안녕하세요!
활성화 함수를 고를 때 보통 세가지 경우를 생각해볼 수 있는데요.
일반적으로는 ReLU계열과 같이 대중적으로 사용하는 활성화 함수를 사용합니다.
활성화 함수 여러개를 비교합니다. 말씀하신 것처럼 모든 함수를 실험 해보지는 않고 레퍼런스들을 참고하거나 대중적인 것들을 고릅니다. 또한 본인의 기준이 있을 수도 있습니다.
어떤 조건에 의해 특정 값의 범위를 얻어야 하는 경우나 이론 등 특정 성질을 유지하기 위해 특정 함수를 사용해야 할 때가 있습니다. 이 때 만족하는 함수가 없으면 새로운 함수를 만들거나 기존의 함수를 튜닝해서 사용합니다. 또한 적용 위치를 바꾸기도 합니다.
딥러닝호형 드림
수강 연장 가능 여부 문의
0
10
1
강의 구매했는데 교재 필수일까요
0
14
2
수강기간 연장 가부 문의드립니다.
0
16
2
수강기간 연장이 가능한지 양해를 구하며 문의를 드립니다.
0
23
2
작업형2 모의문제2에서 drop이랑 인코딩
0
25
2
안녕하세요 강사님
0
29
1
[시험 준비] AICE Associate 단기간 합격을 위한 모의고사 활용 방법 문의
1
34
1
인코딩을 다 꼭 해봐야하는지
0
33
2
LLM 시대에서 머신러닝 개념 이해 필요성 문의
0
33
1
기존 미국주식 자동매매 프로그램과 같은 AWS 서버에서 돌리려고 할때
1
47
1
안녕하세요? 강사님 질문있습니다.(인코딩관련)
0
57
2
이진분류에서 양성 클래스가 0일 때 평가 방법
0
46
2
원핫인코딩 전 train과 test 병합여부
0
50
2
수강기간 연장
0
67
2
다중레이어 경사하강법에서 질문
0
322
2
XOR파트에서 입력표현 방식
1
343
2
경사하강법에서 다중레이어에서의 가중치를 구할 때 식이 이해가 가질 않습니다 ㅠ.ㅠ
1
412
1
전이학습 강의 중 질문이 있어서 남깁니다.
0
306
1
XOR 파트에서 질문 있습니다.
0
305
1
SGD + 모멘텀 등의 코드
0
510
1
bias가 왜 필요한지 정확하게 모르겠습니다.
2
1243
1
LSTM 모형의 이해
1
654
1
RNN 가중치 w,u,l shape 질문
1
401
1
과적합 판단 방법에 대해 질문 드립니다.
0
2389
1