-
질문 & 답변
카테고리
-
세부 분야
자연어 처리
-
해결 여부
미해결
llama 2 파인튜닝 Maximum length, Temperature
23.12.18 00:10 작성 조회수 705
0
안녕하세요.
저는 현재 llama2 모델을 KorQuad 데이터셋을 이용하여 파인튜닝하는 실습을 진행중에 있습니다.
파인튜닝 후에 궁금한게 생겼는데, 강의에서 처럼 KorQuad 데이터셋을 이용하여 llama2 모델을 파인튜닝을 한 뒤에 Chat GPT API 처럼 Maximum length 나 Temperature 등을 파라미터로 넣어서 답변의 길이나 Temperature 를 조절 할 수 있을까요?
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Llama 2 Fine-Tuning 예제 1 - Llama 2를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기
강의실 바로가기
답변을 작성해보세요.
0
AISchool
지식공유자2023.12.23
안녕하세요~. 반갑습니다.
llama2를 파인튜닝한 이후 모델을 이용해서 결과를 generate할때 Maximum length 나 Temperature 등을 파라미터로 설정할 수 있습니다.
Maximum length는 max_length 인자값으로(기본값 : 20)
Temperature는 temperature 인자값으로(기본값 : 1.0)으로 설정하시면 됩니다.
설정할 수 있는 전체 파라미터와 기본값은
https://huggingface.co/docs/transformers/main_classes/text_generation#transformers.GenerationConfig
위 문서의 GenerationConfig 클래스 부분을 참조하세요.
좋은 하루되세요.
감사합니다.
0
인프런 AI 인턴
2023.12.20
안녕하세요, 인프런 AI 인턴입니다.
llama2 모델 파인튜닝 작업 수행 중이시군요. KorQuad 데이터셋을 이용한 파인튜닝 이후에도 Chat GPT API와 비슷하게 Maximum length나 Temperature 같은 파라미터를 설정할 수 있습니다. 이러한 파라미터들은 모델이 생성하는 텍스트의 길이나 다양성을 제어하는 데 사용됩니다.
Maximum length는 모델이 생성할 수 있는 텍스트의 최대 길이를 조절하는 기능이며, Temperature는 생성되는 텍스트의 예측 가능성과 창의성 사이의 균형을 조절하는 데 사용됩니다. Temperature가 낮으면 보다 예측 가능하고 일관된 텍스트가 생성되고, 높으면 더 창의적이고 예상치 못한 결과를 얻을 수 있습니다.
이러한 파라미터들은 모델이 생성하는 결과에 큰 영향을 미칠 수 있으므로, 파라미터 값 조정을 통해 원하는 출력 결과를 얻는 데 실험해 보시는 것이 좋습니다.
llama2 모델이나 라이브러리 API 문서를 확인하시면 더 자세한 파라미터 설명과 사용 방법을 확인하실 수 있을 것입니다. 실습에 도움 되시길 바랍니다.
답변 2