fine tuning에 대한 개념적 이해
64
10 asked
안녕하세요 강사님
강의 잘 듣고 있습니다.
강의 내용중 좀 더 이해하고 싶은 부분이 생겨 질문드립니다.
#질문 1
8분53초의 화면상의 ppt 슬라이드를 보면
행렬의 shape를 (a,m ), (m *n ), (a, n) 적어주셨는데 각각의 의미가 궁금합니다.
(a,m) 은 무엇을 의미하는 행렬이며
이때 a,m각각은 무엇을 나타내는지,
(m*n) 행렬은 무엇을 의미하는 행렬이며
m,n은 무엇을 나타내는지
(a,n) 행렬은 무엇을 의미하는 행렬이며
a,n은 무엇을 나타내는지.
( 제 추측으론, m은 모델의 vocabulary 사전의 개수. 또는 토큰id의 max값 같기도하고...n은 벡터의 길이 같기도하고....)
#질문 2
그리고 파인 튜닝을 위해 qlora n*n 행렬이 그림상에 추가되었는데, 개념적으로 데이터가 추가되었다고는 이해되는데 실제 물리적으로는 데이터가 어떻게 추가된것인지 궁금합니다.
단순히 m*n 행렬에 n행이 추가되어
m+n, n 행렬이 되었다든지...
Answer 0
localhost:30000 접속 안되는 문제 관련 질문
0
26
2
강의 수강 순서
0
20
1
Guest OS
1
22
2
import 오류
0
23
1
온톨로지 활용
0
25
2
질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?
0
33
2
제공해주신 레포가 Windows 환경에 너무 비친화적입니다.
0
32
2
회사 내 AI 툴 사용에 대한 질문
0
29
1
ollama설치해서 llama로 돌려도 되나요?
0
35
2
라이브 수강 어려움
0
44
3
섹션22 퀴즈 질문
0
36
1
Docker Desktop 설치 관련 질문
0
43
2
kubeTM Blog는 없어진건가요????
1
31
2
Docker + Spring Boot CI/CD 방법
0
37
2
마크다운을 텍스트 파일로 변환하기
0
37
1
docker compose에 대해 질문드립니다.
0
39
1
18강 smithery 를 이용한 mcp 실습(업데이트 요청)
0
23
1
guardrails 부분도 현재버전과 약간 다릅니다.
0
24
1
smithery ai 언제 업데이트 되나요?
0
22
1
무료할당량 사용하는데 문제가 생겼습니다.
0
29
1
섹션2-11 내용중 tool_call
0
32
2
gemma 2 2b runpod 로컬 PC 사양
0
78
2
stop button 이 안보이는데요?
0
45
1
이 강의를 들으면 쇼핑몰 챗봇도 커버가 가능하나요?
0
59
1