haesunpark

안녕하세요. 혹시 본 강의에 사용된 슬라이드를 말씀하시나요? 아니면 대학 강의를 위한 슬라이드가 필요하신가요?

수업 하실 때 활용하시는 강의 자료를 제공 받을 수 있는지 문의 드립니다

안녕하세요. 네, 말씀하신 내용이 모두 맞습니다. 어텐션은 지금까지 입력된 토큰을 모두 참조합니다. 이는 순환 신경망에서 이전 토큰에 대한 기억이 흐려지는 문제를 해결하기 위해서 고안되었습니다. 하지만 이로 인해 메모리 공간이 늘어나고 입력 길이에 제한이 생깁니다. 어떤 기술이 등장해서 이전 기술의 단점을 보완하지만 완벽한 것은 없다보니 새로운 다른 단점이 있는거죠. 하지만 이런 단점에도 불구하고 어텐션은 텍스트 생성에 압도적인 성능을 냅니다. 또한 컴퓨팅 성능과 모델의 규모가 커지면서 저장 공간과 입력 길이 제한은 점점 더 장벽이 되지 않는 것 같습니다. 감사합니다!

바흐다나우 어텐션을 시작하게 된 이유가 궁금해요!

안녕하세요. 강의 쿠폰은 챌린지가 시작될 때 이미 메일로 보내드렸습니다.혹시 등록을 못하신 걸까요?

<대규모 언어 모델, 핵심만 빠르게!> 쿠폰은 언제쯤 발급되나요?

안녕하세요. 개인사정이 있어 금주에 영상 제작을 못했네요. 주말부터 다시 강의가 이어질 예정입니다. 감사합니다!

section 3 이후는 언제 보게 되나요?

안녕하세요. 진행 체크가 안되는 것은 제가 처리할 수 없는 문제 같습니다. 인프런에 문의 부틱드립니다. 저도 한번 알아 보겠습니다. 감사합니다.

강의확인 체크가 안됩니다

안녕하세요. 두 강의에 모두 추가해 드렸습니다. 챌린지에 글을 남기셨다고 했는데 아무런 알림을 받지 못했습니다. 문의에 대해서는 모두 답변을 드리는데 이상하네요.

강의 미등록

안녕하세요. 두 강의에 모두 추가해 드렸습니다. 감사합니다.

챌린지만 등록하고 강의 수강을 놓쳤습니다.

안녕하세요. 세 개의 단어로 다음 하나의 단어를 예측한다고 했을 때 "I love you so much"란 텍스트에서 만들 수 있는 샘플은 2개입니다. 즉 3개의 단어 범위(윈도)로 "I love you" --> "so", "love you so" --> "much"입니다. 물론 슬라이딩 윈도를 겹치지 않게 샘플을 만들 수도 있지만 이런 경우 위 텍스트로는 하나의 샘플밖에 만들지 못합니다. 어떤 방식을 사용할지는 개발자의 몫입니다. 여기서는 훈련 텍스트를 최대한 효율적으로 사용한다고 가정하면 슬라이딩 윈도를 한 단어씩 이동하는 것입니다. 이렇게 하면 입력과 타깃이 겹칠 수 밖에 없습니다. 세 개의 단어가 아니라 4개, 10개, 100개의 단어를 입력 문맥으로 사용할 수도 있으며 이는 모델이 최대로 받을 수 있는 입력의 크기에 따라 달라집니다. 감사합니다.

누적입력에서 겹치는 방식으로 넘어간 이유

안녕하세요. 두 강의에 모두 추가해 드렸습니다. 감사합니다!

쿠폰 관련 질문입니다.

아이코, 그렇네요. 알려 주셔서 감사합니다. 방금 수정했습니다!

haesunpark

Posts