fine tuning에 대한 개념적 이해
72
11 asked
안녕하세요 강사님
강의 잘 듣고 있습니다.
강의 내용중 좀 더 이해하고 싶은 부분이 생겨 질문드립니다.
#질문 1
8분53초의 화면상의 ppt 슬라이드를 보면
행렬의 shape를 (a,m ), (m *n ), (a, n) 적어주셨는데 각각의 의미가 궁금합니다.
(a,m) 은 무엇을 의미하는 행렬이며
이때 a,m각각은 무엇을 나타내는지,
(m*n) 행렬은 무엇을 의미하는 행렬이며
m,n은 무엇을 나타내는지
(a,n) 행렬은 무엇을 의미하는 행렬이며
a,n은 무엇을 나타내는지.
( 제 추측으론, m은 모델의 vocabulary 사전의 개수. 또는 토큰id의 max값 같기도하고...n은 벡터의 길이 같기도하고....)
#질문 2
그리고 파인 튜닝을 위해 qlora n*n 행렬이 그림상에 추가되었는데, 개념적으로 데이터가 추가되었다고는 이해되는데 실제 물리적으로는 데이터가 어떻게 추가된것인지 궁금합니다.
단순히 m*n 행렬에 n행이 추가되어
m+n, n 행렬이 되었다든지...
Answer 0
퍼블릭시티를 ai agent 제미나이로 대채
0
17
2
섹션2-18
0
14
2
최신 엔비디아 CUDA 아키텍처에서의 결정적 변경 사항
0
12
1
윈도우에서 Node js를 설치하고 싶어요
0
18
0
Blog-Content-Writer에서 오류가 발생합니다.
0
26
2
섹션2-14 perplexity
0
23
2
chat model 종류
0
30
2
강의 8번 관련
0
21
1
11강 테스트 툴스 오류
0
35
3
34강 비용절감 부분 질문이 있습니다.
0
27
2
라이브 강의 녹화본은 어디에서 확인해 볼수 있을까요?
0
17
1
라이브 강의 녹화본은 어디에서 확인해 볼수 있을까요?
0
31
1
search tool 에러
0
24
2
섹션8 강의자료가 안열려요
0
26
2
Int 값들 null 처리
0
24
1
코드 최종 결과 질문드립니다.
0
29
2
db table 관련질문
0
27
1
지식공유 (윈도우 설치) [실습] 외부 MCP Server와 연동한 실시간 날씨 조회 - MCP Client 개발
0
34
1
제미나이 api 연결오류
0
33
2
AgentState의 messages 확인해주세요.
0
29
2
자료 다운로드가 안됩니다.
0
32
2
gemma 2 2b runpod 로컬 PC 사양
0
96
2
stop button 이 안보이는데요?
0
49
1
이 강의를 들으면 쇼핑몰 챗봇도 커버가 가능하나요?
0
73
1