[2강 - 8:50]의 템퍼러쳐에 대해서 조금 더 부연하면...
550
작성한 질문수 2
머신러닝 중 Optimization의 한 기법중에서, Simulated annealing algorithm이 있는데 그걸 말하는 것 같습니다. 담금질을 모방해서 temperature가 높으면 파라미티를 좀 더 랜덤하게 변화시키는 방식인데요(랜덤하지 않은 경우에는, 제가 알기로는 경사하강법을 쓰는걸로 알아요). 이 때문에 Error가 감소 하지 않고 증가하는 경우가 더 많이 발생한다고 해요. Low temperature의 경우 랜덤확률이 낮아지니 좀 더 인접위치의 local minimumd으로 수렴하게 되구요.
여기서부턴 제 추론인데요. 파라미터가 손실함수에서 위치가 높은 곳에 있을 때보다 낮은 곳에 있을 때 같은 온도에서도 Error가 증가할 수밖에 없는데(올라갈 곳이 더 많으니까), 보통 최적화 과정에서 고도가 낮아지기 때문에 시간에 따라 온도도 낮춰서 Error가 증가하는 일을 방지하는 것 같아요.
답변 1
15분 48초 질문
0
10
1
gws OAuth 동의 화면 · 클라이언트 · 앱 도메인 · 게시 질문입니다.
0
13
0
26-1년도 이론문제 재탕
0
22
1
26-1년도 코드문제 재탕
0
17
0
계좌잔고 조회하기
0
12
0
안녕하세요 강사님
0
18
1
[시험 준비] AICE Associate 단기간 합격을 위한 모의고사 활용 방법 문의
1
19
1
이론재탕만 눈치챘어도
0
30
1
25-3년도 이론문제 재탕
0
22
1
섹션3에서 3.1 리서처 세이지에게 경쟁 카페 가격 조사표 맡기고 링크로 공유하기쪽에 문의가 있습니다.
0
14
1
25-3년도 코드문제 재탕
0
17
0
출력값 문의
0
20
2
인코딩을 다 꼭 해봐야하는지
0
19
2
LLM 시대에서 머신러닝 개념 이해 필요성 문의
0
23
1
섹션7 퀴즈에 나오는 "GPT for Sheets and Docs"
0
21
1
퀴즈6번 문의
0
132
2
assistant에서 file 업로드 하고 쓰레드 사용시 token 사용 및 사용 방법 문의
0
277
2
assistants api 메이저 버전 업에 따른 컨텐츠 변경 요청
0
231
3
강의 자료 받을수 있을까요?
1
251
1
openai api key 환경변수
2
1000
1
채팅 결과가 chatGPT 웹화면처럼 조금씩 생성되게 하는 방법이 있을까요?
1
589
1
api 불러오기에서 completion에서 에러가 뜹니다
1
875
1
chat gpt api 관련 질문 드립니다!
1
1937
1
fine tuning 실습관련 질문드립니다.
3
791
1