파인튜닝 데이터가 이미 학습된 데이터인 경우 어떻게 되나요?

작성한 질문수 1

0

일단 두 번째 질문에 대해서 먼저 답하자면 LLM은 파인튜닝 자료가 자신이 알고 있는 자료임을 알 수 없고 그것을 LLM이 직접 알려주거나 뱉어낼 수는 없습니다. 일반적인 LLM은 자신이 특정 문장을 알고 있는지, 사전학습 과정에서 본 것인지, 파인튜닝 중에 본 것인지를 구분하거나 메타적으로 인식하지 못합니다.

첫 번째 질문에 대해서는 여러 가지 경우로 나눠서 생각해 보아야 할 것 같습니다. 사전학습 자료와 미세조정 자료의 의미와 표현이 일치하는 경우, 의미는 같은데 표현은 다른 경우, 기존 지식과 충돌하는 경우로 나눠서 생각해 봐야 할 것 같습니다.

각 경우별로 따지자면 내용이 길어지므로 요약해서 말씀드리자면, 일반적인 규모의 파인튜닝에서는 동일한 지식을 다시 학습하더라도 모델의 전반적인 성능 변화는 크지 않은 경우가 많습니다. 다만 데이터 규모, 학습속도(learning rate: 학습률), 반복학습 횟수(Epoch 수) 등에 따라 영향은 달라질 수 있습니다.

데이터가 매우 많거나, 학습 속도가 지나치게 빠르거나, 전체 파라미터를 미세 조정하하는 경우(Full Fine-tuning인 경우)나, 반복학습 횟수가 지나치게 크면 가중치에 큰 변화를 일으킬 수 있습니다.

특히 학습 속도가 적절치 않으면 파국적 망각(Catastrophic Forgetting) 현상이 일어날 수도 있습니다. 즉, 기존 지식 중 일부가 소실되고, 그 대신에 파인튜닝에 동원한 중복 학습 자료가 새로운 지식 형태로 더 강하게 자리잡는 현상이 벌어질 수 있을 것으로 보입니다.

이 답변은 저의 견해에 불과하니 반드시 실험적으로 확인해 보시기 바랍니다. 반면에 기존 지식을 강화하는 긍정 효과를 내게 할 수도 있을 것으로 보입니다. 어쩌면 좋은 실험 연구 주제가 될 수 있을 것 같습니다.