inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Cùng với kỹ sư Silicon Valley sử dụng OpenAI API (ChatGPT)

Mô hình trí tuệ nhân tạo GPT3 được tạo ra như thế nào?

[2강 - 8:50]의 템퍼러쳐에 대해서 조금 더 부연하면...

500

lizziee

2 câu hỏi đã được viết

0

머신러닝 중 Optimization의 한 기법중에서, Simulated annealing algorithm이 있는데 그걸 말하는 것 같습니다. 담금질을 모방해서 temperature가 높으면 파라미티를 좀 더 랜덤하게 변화시키는 방식인데요(랜덤하지 않은 경우에는, 제가 알기로는 경사하강법을 쓰는걸로 알아요). 이 때문에 Error가 감소 하지 않고 증가하는 경우가 더 많이 발생한다고 해요. Low temperature의 경우 랜덤확률이 낮아지니 좀 더 인접위치의 local minimumd으로 수렴하게 되구요.

여기서부턴 제 추론인데요. 파라미터가 손실함수에서 위치가 높은 곳에 있을 때보다 낮은 곳에 있을 때 같은 온도에서도 Error가 증가할 수밖에 없는데(올라갈 곳이 더 많으니까), 보통 최적화 과정에서 고도가 낮아지기 때문에 시간에 따라 온도도 낮춰서 Error가 증가하는 일을 방지하는 것 같아요.

python openai chatgpt midjourney

Câu trả lời 1

0

altoformula

안녕하세요 Lizzie님.

좋은 내용 감사드립니다.

예측값 결과 소수점 차이

0

3

1

여태까지 발견한 이슈들 공유드립니다.

0

6

0

기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?

0

7

0

전처리 train() test([ ])

0

10

2

작업형 1 배경지식 질문

0

13

2

옳게 풀은건지 질문드립니다!

0

10

1

roc_auc_score

0

15

1

재귀함수 연산법

0

8

1

추가질문 합니다

0

12

1

시험환경 구름

0

13

1

2유형 질문드려요

0

10

1

RandomForest vs lgb

0

19

1

전처리 관련질문

0

16

2

수강기간즘연장해주세요

0

10

1

작업형3 기출

0

14

1

퀴즈6번 문의

0

83

2

assistant에서 file 업로드 하고 쓰레드 사용시 token 사용 및 사용 방법 문의

0

215

2

assistants api 메이저 버전 업에 따른 컨텐츠 변경 요청

0

181

3

강의 자료 받을수 있을까요?

1

198

1

openai api key 환경변수

2

949

1

채팅 결과가 chatGPT 웹화면처럼 조금씩 생성되게 하는 방법이 있을까요?

1

548

1

api 불러오기에서 completion에서 에러가 뜹니다

1

835

1

chat gpt api 관련 질문 드립니다!

1

1881

1

fine tuning 실습관련 질문드립니다.

3

758

1