bias가 왜 필요한지 정확하게 모르겠습니다.
저는 인공지능 관련 학과에 재학중입니다. 저학년 때 공부를 덜 해서 기초가 부족함을 느끼고 호형님 강의로 기초 공부를 하고 있는데요, 교수님께서 강의하실 때도 항상 궁금했던 건데 은닉층 사이 weight값들이 있음에도 불구하고 bias가 왜 있는건지가 궁금합니다.
답변 1
0
안녕하세요.
좋은 질문입니다.
bias 없이 레이어를 구성하면 h(x)=Wx의 형태가 되고 이는 인풋이 0이면 무조건 0을 출력을 하게 되죠. 따라서 h(x)=Wx+b 형태로 레이어를 구성하여 피쳐값을 조정할 수 있습니다. (즉, bias b를 통해 각 피쳐값을 평행이동 시킬 수 있습니다.) 더 나아가 ReLU같은 nonlinear activation function a을 통해 비선형 레이어 h(x)=a(Wx+b)를 만들어 신경망을 구축할 수 있습니다.
추가적으로, b도 W와 마찬가지로 학습가능한 모델 파라메터입니다!
감사합니다.
random_state 값
0
9
1
19강 감정분석 강의처럼 api 돌렸는데
0
9
0
완독 챌린지 도서 인정 방법에 대한 문의
0
10
2
강의 연장 문의 드립니다.
0
11
1
강의 연장 문의
0
43
1
강사님 강의 자료와 코드를 부탁드리고 싶습니다.
0
46
2
16강에서 코드가 계속 안도길래. ai가 고쳐서 일단 supabase에 preditc 한 주가를
1
37
1
오징어게임
0
52
1
[클라우드 설정 중 앞 내용 문의 사항]
1
35
1
선생님 강의자료를 받을수 없어요! 메일보냈어요.
0
53
2
16강 구글 colab 에서 코드 실행이 안돼요.
0
58
1
object 컬럼이 여러 개인 경우 인코딩 전처리 방법
0
44
2
데이터 전처리 순서 관련
0
55
2
작업형2 모의문제 데이터 불러오기
0
58
2
다중레이어 경사하강법에서 질문
0
318
2
XOR파트에서 입력표현 방식
1
336
2
경사하강법에서 다중레이어에서의 가중치를 구할 때 식이 이해가 가질 않습니다 ㅠ.ㅠ
1
410
1
경우에 따른 최적의 활성화 함수 선정하는 방법
0
491
2
전이학습 강의 중 질문이 있어서 남깁니다.
0
306
1
XOR 파트에서 질문 있습니다.
0
302
1
SGD + 모멘텀 등의 코드
0
507
1
LSTM 모형의 이해
1
648
1
RNN 가중치 w,u,l shape 질문
1
400
1
과적합 판단 방법에 대해 질문 드립니다.
0
2387
1