지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다. 제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다. 다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정. import torch inputs = torch.tensor( [[ 0.43 , 0.15 , 0.89 ], # Your (x^1) [ 0.55 , 0.87 , 0.66 ], # journey (x^2) [ 0.57 , 0.85 , 0.64 ], # starts (x^3) [ 0.22 , 0.58 , 0.33 ], # with (x^4) [ 0.77 , 0.25 , 0.10 ], # one (x^5) [ 0.05 , 0.80 , 0.55 ]] # step (x^6) ) 이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요? 아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요? 아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요 실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다. 만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면, 단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요. 즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다. 아니면, 처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도, "훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서 이런 모든 의구심이 해소 되는 것인가요?
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요? "6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다. 이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요, 인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까? "In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다. 감사합니다. 수고하세요.
5.5 실습진행하면서 오류가 발생해서 문의 드립니다. 주피터 노트북 진행 환경 입니다. 오류는 203 페이지 진행중에 발생 settings, params = download_and_load_gpt2(model_size="124M", models_dir="gpt2") file download 이후 오류로 그림과 같습니다. 혹시 해결가능한 방법이 있을까요? 여기서 막히면 다음 진행이 어려울 까요? 확인 부탁드립니다.
안녕하십니까 선생님. 강의를 열심히 듣고 있던 중, 문득 그런 궁금증이 생겼습니다. 코스매틱 브랜드 중, 여성들의 '아이브로우' 같은 경우 어떻게 객체 인식을 해줄 수 있을까? 에 대한 의구심이 들었습니다. '흑갈색', '갈색' 이거를 사람 육안으로 파악해도 색상보다는 텍스트로 인식하는 것이 더 빠른데, 이런 것은 어떻게 객체 인식을 하면 되는건가요? 바코드, 텍스트 이런 것들이 주어져 있지 않고, 오로지 색상만으로 구분 할 수 있습니까? 이런 것들에 대한 인식의 정확도를 99% 까지 올릴 수 있는지 궁금합니다. 빛의 반사, 포장지, 동그란 형태의 케이스에 대한 예외가 떠오릅니다.
안녕하십니까, 강사님. 트랜스포머에 대한 세심하고 깊이 있는 강의를 준비해주셔서 감사합니다. 강의 정말 유익하게 잘 듣고 있습니다. Self-Attention의 learnable parameter 단계로 넘어가면서 몇 가지 궁금한 점이 생겨 질문드립니다. 초기 token embedding 은 어떤 방식으로 설정되는 것인가요? Query, Key, Value 를 구하기 위해 초기 token embedding에 (3, 3) 형태의 nn.Linear 를 곱하여 각각 (6, 3) 으로 변환하는 과정의 의미가 궁금합니다. 기존 token embedding을 그대로 사용하지 않고 이렇게 변환하는 이유가 무엇인지 알고 싶습니다. 조금 더 구체적으로는, 이렇게 선형 변환을 적용하면 기존 임베딩의 의미가 무시되거나 손실되는 것은 아닌지 의문이 있습니다.
현재 모든 과정을 완료하고 책 구매 및 주간 미션도 모두 완료한 상태 입니다. 다만, 모든 과정에 영상이 없다보니, 완료한 진도율이 진도율: 49강/53강 (92.45%) 이렇게 확인이 됩니다. 길벗 포인트의 지원 조건에 부합되는 미션의 기준 및 진도율에 대해 정확히 알고 싶어 제가 수행한 기준에서도 충족이 되는지 확인을 부탁드리고 싶습니다.
안녕하세요 강사님 무료로 강의를 해주신 덕분에 이해를 잘하면서 따라왔습니다 감사합니다. 다름이 아니라 해당 강의의 2:45에서 질문이 하나 있습니다. 단순한 것인데 궁금한 것이 각각의 RGB채널에 대해서 피처맵 F1r, F1g, F1b가 나오게 되는데 이 피처맵들을 다 더하는 이유가 무엇인가요? 단지 색을 표현하기 위해서는 RGB가 있어서 이 세 개의 조합으로 색을 표현하기 때문에 각각의 피처맵을 더해서 표현되어야한다는 관점인건가요?
안녕하세요. 밑바닥부터 만들면서 배우는 LLM 수강생입니다. 두 번이나 코드 해설 강의 쿠폰을 발행해주셨는데 직장인인데다가 최근에 바빠서 제대로 확인하지 못했습니다. 마침 등록되어 있는 메일도 자주 이용하는 메일이 아니다보니 제때 확인하지 못했네요. 여러모로 실례지만 혹시 추가로 쿠폰을 발행받을 수 있는 방법이 없을까요? 번거롭게 해서 죄송합니다.
안녕하세요. 본 완독 챌린지에서 제공하는 코드 해설 강의 쿠폰을 받지 못해, 지금이라도 이걸 받을 수 있는 방법이 있을지 문의드립니다. 새 소식에 있는 공지들을 보면 1차 때나 2차 때나 쿠폰이 일괄 발송되었다고 적혀있는데, 메일 수신함 전체를 확인해봐도 아무 것도 온 게 없습니다.(아마 발송 내역을 확인해보시면 될 듯 합니다) 챌린지 신청 기간 당시 챌린지 소개에는 추가 강의 제공 형태(쿠폰으로 제공 후 직접 등록 필요 + 기간 만료형), 강의 제공 시기(추후 제공) 등의 내용이 고지되지 않아 추석 기간 때 놓쳤다가, 공지사항을 나중에 보고서 재발급을 기다리고 있었는데 주중에 다시 진행되었을 줄 몰랐네요... 주간에는 업무로 인해 인프런 사이트에 매번 들어와서 직접 확인하기가 어려워서요. 혹시 이를 받을 수 있는 다른 방법이 있다면 알려주시면 고맙겠습니다. p.s) 책은 내용이 좋아서 재미있게 보고 있습니다.
안녕하세요 강사님, 공지를 늦게 확인하고 쿠폰을 확인하지 못해 문의 남깁니다. 이전 문의 글들을 보니 가입한 이메일로 지난주 및 이번주에 쿠폰이 지급될 것이라 안내 해 주셨더라구요. 하지만 저 같은 경우 지난주에도 메일이 오지 않았고 현재도 수신된 메일이 없기에 확인할 수 있는 방법이 있을지 문의 드립니다. 감사합니다!
