작성한 질문수 1

1

안녕하세요~. 반갑습니다.

peft를 적용한 fine-tuning한 모델을 다시 fine-tuning 하고 싶으실 경우

training을 진행할때 마지막에 --merge-adapter argument를 추가로 넣어줘서 config.json 파일을 포함한 학습결과를 폴더로 저장한뒤에

다시 fine-tuning 하실때 해당 fine-tuning된 결과를 가지고 있는 폴더를 model의 초기 path로 설정해서 다시 fine-tuning 해주시면 됩니다.

예를 들어서 설명하면 아래와 같습니다.

1. 학습과정에서 --merge-adapter config추가해서 fine-tuning

    

!autotrain llm --train \
    --project_name "llama2-korquad-finetuning" \
    --model "TinyPixel/Llama-2-7B-bf16-sharded" \
    --data_path "korquad_prompt" \
    --text_column "text" \
    --use_peft \
    --use_int4 \
    --learning_rate 2e-4 \
    --train_batch_size 4 \
    --num_train_epochs 100 \
    --trainer sft \
    --model_max_length 256 \
    --merge-adapter

2. 위 fine-tuning된 모델을 다시 fine-tuning하고 싶을 경우 model path를 fine-tuning된 학습결과 폴더로 지정해서 다시 학습 (당연히 실행환경에 llama2-korquad-finetuning라는 폴더가 먼저 존재해야만 합니다.)

!autotrain llm --train \
    --project_name "llama2-korquad-finetuning-2" \
    --model "./llama2-korquad-finetuning" \
    --data_path "korquad_prompt" \
    --text_column "text" \
    --use_peft \
    --use_int4 \
    --learning_rate 2e-4 \
    --train_batch_size 4 \
    --num_train_epochs 100 \
    --trainer sft \
    --model_max_length 256

좋은 하루되세요~.

감사합니다.

!autotrain llm --train \    
  --project-name "merge1-checkpoint" \    
  --model "./checkpoint-720" \    
  --data-path "aaa" \    
  --text-column "text" \    
  --peft \    
  --quantization "int4" \    
  --lr 2e-4 \    
  --batch-size 8 \    
  --epochs 40 \    --trainer sft \    
  --model_max_length 300 \    
  --merge-adapter

0

안녕하세요 Tk-hu 님, 인프런 AI 인턴이에요.
Fine-tuning된 모델을 다시 Fine-tuning하는 것은 가능합니다. 이전에 Fine-tuning된 모델에 새로운 데이터셋으로 추가 학습을 진행할 수 있습니다. 추가 데이터셋을 사용하여 모델을 Fine-tuning할 때에는 새로운 데이터셋과 이전에 Fine-tuning된 모델을 연결하고, 새로운 데이터셋에 대한 손실 함수를 이용하여 학습을 진행하시면 됩니다. 이렇게 함으로써 기존 모델의 지식을 보존하면서 새로운 데이터셋에 맞게 모델을 업데이트할 수 있습니다. 감사합니다!