-
카테고리
-
세부 분야
AI · ChatGPT 활용
-
해결 여부
미해결
[2강 - 8:50]의 템퍼러쳐에 대해서 조금 더 부연하면...
23.09.25 05:37 작성 23.09.25 05:43 수정 조회수 203
0
머신러닝 중 Optimization의 한 기법중에서, Simulated annealing algorithm이 있는데 그걸 말하는 것 같습니다. 담금질을 모방해서 temperature가 높으면 파라미티를 좀 더 랜덤하게 변화시키는 방식인데요(랜덤하지 않은 경우에는, 제가 알기로는 경사하강법을 쓰는걸로 알아요). 이 때문에 Error가 감소 하지 않고 증가하는 경우가 더 많이 발생한다고 해요. Low temperature의 경우 랜덤확률이 낮아지니 좀 더 인접위치의 local minimumd으로 수렴하게 되구요.
여기서부턴 제 추론인데요. 파라미터가 손실함수에서 위치가 높은 곳에 있을 때보다 낮은 곳에 있을 때 같은 온도에서도 Error가 증가할 수밖에 없는데(올라갈 곳이 더 많으니까), 보통 최적화 과정에서 고도가 낮아지기 때문에 시간에 따라 온도도 낮춰서 Error가 증가하는 일을 방지하는 것 같아요.
답변을 작성해보세요.
0
답변 1