파인튜닝 데이터가 이미 학습된 데이터인 경우 어떻게 되나요?
강사님께 질문드립니다.
수업을 듣다 문득 이런 생각이 들었습니다.
LLM은 엄청난 데이터를 학습했으니, 파인튜닝을 위해 제공한 학습자료가 이미 학습된 자료일 수도 있습니다. 비중에 따라 다를 수 있겠지만, 이럴때는 어떤 결과가 예상되는지 궁금합니다.
또한, 중복된 학습자료임을 LLM이 알고 알려주거나 뱉어낼 수 있는건가요?
Answer 1
0
일단 두 번째 질문에 대해서 먼저 답하자면 LLM은 파인튜닝 자료가 자신이 알고 있는 자료임을 알 수 없고 그것을 LLM이 직접 알려주거나 뱉어낼 수는 없습니다. 일반적인 LLM은 자신이 특정 문장을 알고 있는지, 사전학습 과정에서 본 것인지, 파인튜닝 중에 본 것인지를 구분하거나 메타적으로 인식하지 못합니다.
첫 번째 질문에 대해서는 여러 가지 경우로 나눠서 생각해 보아야 할 것 같습니다. 사전학습 자료와 미세조정 자료의 의미와 표현이 일치하는 경우, 의미는 같은데 표현은 다른 경우, 기존 지식과 충돌하는 경우로 나눠서 생각해 봐야 할 것 같습니다.
각 경우별로 따지자면 내용이 길어지므로 요약해서 말씀드리자면, 일반적인 규모의 파인튜닝에서는 동일한 지식을 다시 학습하더라도 모델의 전반적인 성능 변화는 크지 않은 경우가 많습니다. 다만 데이터 규모, 학습속도(learning rate: 학습률), 반복학습 횟수(Epoch 수) 등에 따라 영향은 달라질 수 있습니다.
데이터가 매우 많거나, 학습 속도가 지나치게 빠르거나, 전체 파라미터를 미세 조정하하는 경우(Full Fine-tuning인 경우)나, 반복학습 횟수가 지나치게 크면 가중치에 큰 변화를 일으킬 수 있습니다.
특히 학습 속도가 적절치 않으면 파국적 망각(Catastrophic Forgetting) 현상이 일어날 수도 있습니다. 즉, 기존 지식 중 일부가 소실되고, 그 대신에 파인튜닝에 동원한 중복 학습 자료가 새로운 지식 형태로 더 강하게 자리잡는 현상이 벌어질 수 있을 것으로 보입니다.
이 답변은 저의 견해에 불과하니 반드시 실험적으로 확인해 보시기 바랍니다. 반면에 기존 지식을 강화하는 긍정 효과를 내게 할 수도 있을 것으로 보입니다. 어쩌면 좋은 실험 연구 주제가 될 수 있을 것 같습니다.
0
안녕하세요, 교수님.
LLM 강의를 찾아보던 중 우연히 교수님의 강의를 알게 되었습니다.
커리큘럼을 살펴보니 단순한 도구 사용법을 넘어 LLM의 기초 원리부터 학습, 정렬, 경량화, 서빙과 운영까지 체계적으로 정리된 강의라는 점이 매우 인상 깊었습니다.
고등학교 수학에 수학의 정석이 있다면, LLM 분야의 종합적인 참고서와 같은 강의라는 생각이 들었습니다.
한 분의 개발자이자 연구자께서 오랜 시간과 노력을 들여 인생에 남길 명작품을 제작하고 계신다는 것을 목차에서 느낄 수 있었습니다.
이런 영혼이 담긴 마스터피스는 정가를 지불하고 수강하는 것이 마땅하다고 생각하지만, 현재 무직 상태이며, AI 분야로의 전환을 준비하고 있어 경제적으로 여유가 많지 않은 상황입니다.
작년에 할인 쿠폰을 제공하셨다는 내용을 보고, 염치없지만 향후 비슷한 할인 행사나 쿠폰 제공 계획이 있으신지 조심스럽게 문의드립니다.
할인이 어려워도 괜찮습니다.
좋은 강의를 만들어주셔서 감사드리며, 앞으로의 업데이트도 응원하겠습니다.
0
반갑습니다. 일단 저는 교수라는 직함을 얻기에 적절치 못합니다. 일개 비전공 개발자에 불과합니다. 물론 이전에 여러 곳에서 강의를 한 적이 있고, 그 중에는 대학교도 포함되어 있지만 특강을 잠시 맡았을 뿐입니다. 여전히 저도 배우는 중이고 사업을 위해 지식을 정리하면서 함께 성장해 보려고 하는 것일 따름입니다.
그리고 아직 초판에 음질 문제 등이 있어서 초판을 미처 마무리하지 않은 상태로 2판으로 개정 중에 2판 개정 영상을 올리는 데 많은 시간이 걸리고 있음에도 기다려 주신 점에 감사합니다.
할인 행사나 쿠폰 발행과 관련하여, 지난 7월 30일(또는 31일)에 최근 할인 행사가 종료되어 당분간 할인 행사 계획은 없습니다. 쿠폰 발행에 대해서는 조금 더 고민해 보겠습니다. 제 이메일 주소로 연락을 주시면 쿠폰 발행시 링크를 알려드리겠습니다.
0
안녕하세요, 교수님.
쿠폰을 제공해 주시겠다고 배려해 주셔서 진심으로 감사드립니다.
다만 할인 문의를 드린 이후
학습 계획을 정리하는 과정에서
다른 인강 사이트의 LLM 모델 개발, RAG·LangGraph, Quantization, vLLM 관련 강의들을 패키지로 구매하게 되었습니다. 현재는 해당 강의들과 부트캠프를 먼저 소화해야 해서 교수님의 강의까지 바로 병행하기는 어려울 것 같습니다.
먼저 쿠폰을 요청드렸는데 이렇게 말씀드리게 되어 죄송합니다.
강의에 대한 관심은 여전히 크기 때문에, 기존 학습을 어느 정도 마친 후 수강할 여건이 되면 다시 찾아뵙겠습니다.
배려해 주셔서 다시 한번 감사드립니다.
교안내 링크 접근 오류
0
1
1
터미널앱으로 Terminus 사용 문의
0
7
0
스킬생성 후 업데이트.
0
7
1
강의 화면이랑 조금 달라 문의드립니다.
1
9
1
앱개시 비활성화 22:36 구간 인증불가
0
8
0
앱개시 비활성화 엑세스요청 불가
0
6
0
윈도우 네이티브 Hermes에도 사용 가능한가요?
0
7
0
서브에이전트 활용 질문입니다.
0
12
2
RetrievalQA 방식 관련 문의
0
10
2
강의 내용이 미완성인가요?
0
7
0
안티그래비티 설치 화면
0
22
1
헤르메스 활용을 위한 PC최소 사양
0
17
0
섹션2, 대화&세션관리 수업 자료 누락
0
14
2
plan mode를 진행하는것에 있어서
0
14
1
ngrok 설치 및 실행 관련 현 상황 정리 (260902)
0
10
2
슬랙에 멀티프로필 추가시 명령어 중복
0
16
1
클로드 코드 설치 오류
0
16
1
수강자료 다운로드 관련 문의
0
23
2
클로드 코드 설치 관련
0
20
1
강의 내용 추가 요청
1
19
2
Unit 4.1-웹훅: 웹훅 설정 파일의 저장 위치는?
0
15
1
/persona-interview 스킬 위치 문의
0
17
2
영상이 안나옵니다. 그냥 빈공간이에요
1
17
3
스타터킷 중요도에 대한 질문입니다.
0
18
1