GPT3의 퓨샷러닝과 파인튜닝에 대해 질문있습니다.
381
작성한 질문수 19
안녕하세요 강사님, 좋은 강의 감사드리며 두가지 질문이 있습니다.
일반적으로 GPT 3.5를 그냥 사용한다고 할때, 퓨샷러닝이 학습때 사용되는 기법이 아니라고 이해하였는데 그러면 제가 GPT에게 "영어로 번역해줘"라고 타이핑하면 제 눈에는 안보이지만 GPT 자체적으로 예시를 몇가지 만들고 해당 내용을 바탕으로 추론 결과를 출력한다고 이해하는게 맞을까요?
GPT3 학습시 사용되지 않은 데이터에 대해서(특정 산업군 지식이라던지) 적절한 정보를 출력하는 LLM을 만들고자 한다면 파인튜닝이 필수적이라고 생각하였는데 맞나요??
답변 1
0
안녕하세요~. 반갑습니다.
먼저 강의를 잘 듣고 계시다니 기쁘네요^^.
일반적으로 GPT 3.5를 그냥 사용한다고 할때, 퓨샷러닝이 학습때 사용되는 기법이 아니라고 이해하였는데 그러면 제가 GPT에게 "영어로 번역해줘"라고 타이핑하면 제 눈에는 안보이지만 GPT 자체적으로 예시를 몇가
지 만들고 해당 내용을 바탕으로 추론 결과를 출력한다고 이해하는게 맞을까요?
->
GPT가 자체적으로 예시를 몇가지 만들고 해당 내용을 바탕으로 추론을 진행하지는 않습니다. 따라서 GPT의 성능을 최대한 끌어올리려면 명시적으로 프롬프트를 구성할때 사람이 수동으로 실제로 몇가지 퓨샷 예시를 추가해서 GPT에게 전달하는 것이 좋습니다.
GPT3 학습시 사용되지 않은 데이터에 대해서(특정 산업군 지식이라던지) 적절한 정보를 출력하는 LLM을 만들고자 한다면 파인튜닝이 필수적이라고 생각하였는데 맞나요??
->
GPT3 학습시 사용되지 않은 데이터에 대해서(특정 산업군 지식이라던지) 적절한 정보를 출력하는 LLM을 만들고자 한다면 2가지 선택지가 있습니다.
첫번째로 해당 지식을 포함한 데이터로 파인튜닝을 진행하는 것입니다.
두번째로는 랭체인 등의 라이브러리를 이용해서 프롬프트를 구성할때 해당 지식을 같이 넣어주는 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 것입니다.
좋은 하루 되세요.
감사합니다.
섹션22 퀴즈 질문
0
30
1
LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다
0
124
1
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
0
416
2
trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ
0
142
2
open api 이용 방법
0
185
2
Llama vision 이미지 해상도
0
215
1
API 특정 짓는 법
0
142
2
소량의 fineTuning 이 미치는 영향
0
241
2
파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증
0
223
2
모델에 대한 성능평가 방법
0
243
1
데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?
0
303
2
Lora 기법 질문
0
173
1
소스코드 다운받을 장소를 알려 주셔요.
0
150
1
섹션 20~23 강의자료가 없습니다.
0
139
1
학습시 API Key를 입력하라고 합니다.
0
962
2
OpenAI Assistants tools 중 retrieval 기능
0
140
0
OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수
0
135
1
Fine Tuning 후 inference 하는 예시(코드) 질문
0
245
1
PEFT_P-Tuning semantic similarity 예제 실행 오류
0
302
4
강사님 Step-back 학습자료가 없습니다.
0
163
2
학습 중지 후 재학습 방법(autotrain 최신 버전)
0
280
1
Fine-tuning 데이터셋 질문
0
301
1
Llama3 response 시간
0
499
2
fine-tuning 완료된 모델 관련 질문
0
229
2