인프런 커뮤니티 질문&답변

안녕하세요 강사님

강의 잘 듣고 있습니다.

강의 내용중 좀 더 이해하고 싶은 부분이 생겨 질문드립니다.

#질문 1

8분53초의 화면상의 ppt 슬라이드를 보면

행렬의 shape를 (a,m ), (m *n ), (a, n) 적어주셨는데 각각의 의미가 궁금합니다.

(a,m) 은 무엇을 의미하는 행렬이며

이때 a,m각각은 무엇을 나타내는지,

(m*n) 행렬은 무엇을 의미하는 행렬이며

m,n은 무엇을 나타내는지

(a,n) 행렬은 무엇을 의미하는 행렬이며

a,n은 무엇을 나타내는지.

( 제 추측으론, m은 모델의 vocabulary 사전의 개수. 또는 토큰id의 max값 같기도하고...n은 벡터의 길이 같기도하고....)

#질문 2

그리고 파인 튜닝을 위해 qlora n*n 행렬이 그림상에 추가되었는데, 개념적으로 데이터가 추가되었다고는 이해되는데 실제 물리적으로는 데이터가 어떻게 추가된것인지 궁금합니다.

단순히 m*n 행렬에 n행이 추가되어

m+n, n 행렬이 되었다든지...