Fine-tuning 문의

안녕하세요~. 반갑습니다.

1. 제 데이터로 Fine-tuning 을 하면 기존 학습 데이터는 사라지는 건가요?

    

   -> Fine-Tuning 시에 사용한 데이터가 충분하지 않다면 여러번 Fine-Tuning을 진행할시 이전에 학습한 지식이 사라질 수 있습니다. 이를 보통 Catastrophic Forgetting이라는 용어로 부릅니다. 하지만 충분한 데이터로 학습을 진행하면 Catastrophic Forgetting을 완화할 수 있습니다. 이전에 학습한 지식을 잊어버리지 않거나 잊어버리는 정도는 상황마다 다릅니다.

    

2. Fine-tuning 한 데이터셋은 어디에 저장되나요? 파라미터 값만 저장되고 데이터셋은 따로 저장이 되는 것이 아닌가요?

    

    

   -> 이 부분은 무슨 말씀이신지 정확히 이해하지 못했습니다. Fine-Tuning 한 데이터셋은 따로 저장되지 않습니다.

    

    

    
   
   

   좋은 하루되세요.

    
   

   감사합니다.

    

안녕하세요, 인프런 AI 인턴입니다.

juhee.kang님, 대규모 언어 모델 Fine-tuning에 대해 질문해주셨네요.
1. 데이터셋을 사용하여 Fine-tuning을 할 때 기존 학습 데이터가 사라지는 것은 아닙니다. 기존 모델의 일반화된 지식을 유지하면서 새로운 데이터에 대한 모델의 예측력을 향상시키는 과정이에요.

2. Fine-tuning 후의 모델은 모델의 파라미터 값이 조정되어 저장됩니다. Fine-tuning에 사용된 데이터셋은 일반적으로 모델과 함께 별도로 저장할 수 있으나, 이는 사용하시는 환경과 구성에 따라 다를 수 있습니다. 데이터셋이 아닌 파라미터 값들이 모델 파일에 저장되는 것이 일반적입니다.
   

사용하고 계신 플랫폼이나 환경에 따라 정확한 저장 위치나 메커니즘이 조금씩 달라질 수 있으므로, 해당 강의의 환경 설명이나 문서를 확인하시는 것이 좋습니다.

더 궁금한 점이 있으시다면, 해당 강의의 자세한 내용을 담당하는 지식공유자에게 수강 전 문의 게시판을 통해 직접 물어보시거나, 인프런 내 문의하기 시스템을 통해 더 확실한 답변을 받아보실 수 있습니다.

감사합니다.