강의

멘토링

로드맵

인프런 커뮤니티 질문&답변

무관님의 프로필 이미지
무관

작성한 질문수

<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지

주간 독서 인증

임베딩 초기화

해결된 질문

작성

·

18

·

수정됨

0

책과, 강의에서 임베딩을 초기화 하는 방법에 대해서 자세히 설명이 되지 않은 것 같습니다. 책에서는 재현가능하도록 하기 위해 랜덤시드를 사용한 것 같은데, 최근 트랜드는 어떤 방법을 사용하는지 궁금합니다

답변 1

0

박해선님의 프로필 이미지
박해선
지식공유자

안녕하세요. 기본적인 임베딩 초기화 방법은 랜덤 초기화입니다. 다른 모델의 임베딩을 전이하는 등 다양한 방법이 있지만 이는 책의 범위를 넘어섭니다. 이에 대한 자세한 내용은 온라인이나 관련 논문을 검색해 보시면 좋을 것 같습니다. 감사합니다!

무관님의 프로필 이미지
무관

작성한 질문수

질문하기