llama 2 파인튜닝 Maximum length, Temperature
1406
작성한 질문수 12
안녕하세요.
저는 현재 llama2 모델을 KorQuad 데이터셋을 이용하여 파인튜닝하는 실습을 진행중에 있습니다.
파인튜닝 후에 궁금한게 생겼는데, 강의에서 처럼 KorQuad 데이터셋을 이용하여 llama2 모델을 파인튜닝을 한 뒤에 Chat GPT API 처럼 Maximum length 나 Temperature 등을 파라미터로 넣어서 답변의 길이나 Temperature 를 조절 할 수 있을까요?
답변 2
0
안녕하세요~. 반갑습니다.
llama2를 파인튜닝한 이후 모델을 이용해서 결과를 generate할때 Maximum length 나 Temperature 등을 파라미터로 설정할 수 있습니다.
Maximum length는 max_length 인자값으로(기본값 : 20)
Temperature는 temperature 인자값으로(기본값 : 1.0)으로 설정하시면 됩니다.
설정할 수 있는 전체 파라미터와 기본값은
https://huggingface.co/docs/transformers/main_classes/text_generation#transformers.GenerationConfig
위 문서의 GenerationConfig 클래스 부분을 참조하세요.
좋은 하루되세요.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다.
llama2 모델 파인튜닝 작업 수행 중이시군요. KorQuad 데이터셋을 이용한 파인튜닝 이후에도 Chat GPT API와 비슷하게 Maximum length나 Temperature 같은 파라미터를 설정할 수 있습니다. 이러한 파라미터들은 모델이 생성하는 텍스트의 길이나 다양성을 제어하는 데 사용됩니다.
Maximum length는 모델이 생성할 수 있는 텍스트의 최대 길이를 조절하는 기능이며, Temperature는 생성되는 텍스트의 예측 가능성과 창의성 사이의 균형을 조절하는 데 사용됩니다. Temperature가 낮으면 보다 예측 가능하고 일관된 텍스트가 생성되고, 높으면 더 창의적이고 예상치 못한 결과를 얻을 수 있습니다.
이러한 파라미터들은 모델이 생성하는 결과에 큰 영향을 미칠 수 있으므로, 파라미터 값 조정을 통해 원하는 출력 결과를 얻는 데 실험해 보시는 것이 좋습니다.
llama2 모델이나 라이브러리 API 문서를 확인하시면 더 자세한 파라미터 설명과 사용 방법을 확인하실 수 있을 것입니다. 실습에 도움 되시길 바랍니다.
섹션22 퀴즈 질문
0
30
1
LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다
0
124
1
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
0
416
2
trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ
0
142
2
open api 이용 방법
0
185
2
Llama vision 이미지 해상도
0
215
1
API 특정 짓는 법
0
142
2
소량의 fineTuning 이 미치는 영향
0
241
2
파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증
0
223
2
모델에 대한 성능평가 방법
0
243
1
데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?
0
303
2
Lora 기법 질문
0
173
1
소스코드 다운받을 장소를 알려 주셔요.
0
150
1
섹션 20~23 강의자료가 없습니다.
0
139
1
학습시 API Key를 입력하라고 합니다.
0
962
2
OpenAI Assistants tools 중 retrieval 기능
0
140
0
OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수
0
135
1
Fine Tuning 후 inference 하는 예시(코드) 질문
0
245
1
PEFT_P-Tuning semantic similarity 예제 실행 오류
0
302
4
강사님 Step-back 학습자료가 없습니다.
0
163
2
학습 중지 후 재학습 방법(autotrain 최신 버전)
0
280
1
Fine-tuning 데이터셋 질문
0
301
1
Llama3 response 시간
0
499
2
fine-tuning 완료된 모델 관련 질문
0
229
2