지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다. 제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다. 다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정. import torch inputs = torch.tensor( [[ 0.43 , 0.15 , 0.89 ], # Your (x^1) [ 0.55 , 0.87 , 0.66 ], # journey (x^2) [ 0.57 , 0.85 , 0.64 ], # starts (x^3) [ 0.22 , 0.58 , 0.33 ], # with (x^4) [ 0.77 , 0.25 , 0.10 ], # one (x^5) [ 0.05 , 0.80 , 0.55 ]] # step (x^6) ) 이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요? 아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요? 아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요 실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다. 만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면, 단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요. 즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다. 아니면, 처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도, "훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서 이런 모든 의구심이 해소 되는 것인가요?
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요? "6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다. 이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요, 인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까? "In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다. 감사합니다. 수고하세요.
findAllWithMemberDelivery 이 메서드 내부에서, join fetch oi.item i 는 안해주셨는데, 안해주는 이유가 무엇일까요? 조회하려는 엔티티인 Order기준으로 한 페치조인이 아니고 orderItem기준으로 한 페치조인이기 때문에 그런것일까요? 아니면 order가 아니라 orderItem에 있는 item이기때문에 그런것일까요?
업캐스팅(부모 형태, 자식 생성자) 챕터 9:23 해당 문제에서 메인 함수에서 구문이 아래와 같을 때 A b = new B(); b.paint(); b.draw(); 첫번째 구문은 자식 기본 생성자 출력하는 것이지만 자식 클래스에서 자식 기본 생성자가 없는 것을 확인하였고 부모 클래스에서 부모 기본 생성자 있는 것을 확인하였습니다. 이 상황에서 비록 자식 기본 생성자는 없지만 부모 기본 생성자는 있어서 바로 출력하여야 하지 않나요?
상속과 생성자 호출순서 7:19 자식 생성자에 대해서 출력함에 있어서 부모 기본 생성자가 먼저 오고 그 다음에 자식 생성자가 와야한다는 것은 이해를 하였습니다. 만약 부모 클래스에서 부모 기본 생성자가 없고 void start() 또는 매개 변수 있는 부모 생성자만 있는 상황에서는 부모 클래스에서 어떤 것을 출력하여야 하나요?
안녕하세요. 정보처리기사 실기 31강 업캐스팅 강의 10분부터 나오는 '업캐스팅 문제 예시 2번' 예제에서 질문이 있습니다. A b = new B(); 이렇게 생성한 인스턴스 b에 대해 b.paint()를 호출하고 내부에서 super.draw()를 호출하고 있는 상황입니다. 만약 class A의 draw 메서드 내부에서 draw() 가 아니라 this.draw()를 호출한다고 하면 그때는 B의 메서드가 호출되는지 아니면 A의 메서드가 호출되어 무한루프 도는지 궁금합니다. (부모클래스의 메서드가 실행되고 있을 때 this는 부모를 가리키는지 자식을 가리키는지가 궁금합니다.)
5.5 실습진행하면서 오류가 발생해서 문의 드립니다. 주피터 노트북 진행 환경 입니다. 오류는 203 페이지 진행중에 발생 settings, params = download_and_load_gpt2(model_size="124M", models_dir="gpt2") file download 이후 오류로 그림과 같습니다. 혹시 해결가능한 방법이 있을까요? 여기서 막히면 다음 진행이 어려울 까요? 확인 부탁드립니다.
어노테이션을 사용한 Listener 를 정의할 때 @Component 어노테이션으로 빈으로 등록시켜줬는데, 실제로 Listener 클래스를 지정할때는 new ServerRackControlListener() 로 직접 생성해주고있네? 빈으로 등록한것과, 직접 생성한 것이 서로 연관되지 않는것 같은데 빈으로 주입받아서 넣어주는게 좋을까 아님 Listener 클래스를 빈으로 등록하지 않고 직접 생성해서 사용하는게 좋을까? 배운대로 Listener 클래스에서 JobExecution 이나 StepExecution 을 사용하는데, Job 실행이나 Step 마다 Execution 이 다를 수 있으니까 빈으로 등록하지 않아도 될 것 같은데 어떻게 생각해?
