모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요. LLM 관련 강의 잘 듣고 있습니다. 실무 적용에 많은 도움이 되고 있어 감사드립니다. 강의 내용과 직접적인 연계는 아니지만, 강의를 듣는 중 궁금한 점이 생겨 문의드립니다. 현재 문서 분류 강의를 들으며 생각해본 부분인데, LLM을 이용해 문서 분류가 가능한 것처럼, 퍼지 해시(Fuzzy Hashing)처럼 문서 간 유사도를 하나의 점수 형태(예: 0~100, 혹은 정규화된 점수 등)로 산출하는 것이 가능한지 궁금합니다. 점수가 의미론적 유사도이든, 어떤 방식이든 상관없이, LLM이 두 문서를 입력받아 정량적 점수(Scoring Output)를 생성할 수 있는지 알고 싶습니다. 만약 가능하다면, 어떤 방식으로 접근하는 것이 적절한지(예: 모델 형태, 프롬프트 전략, 파인튜닝 여부, 평가 기준 등), 방향성을 조언해주시면 도움이 될 것 같습니다. 참고로 제가 언급한 퍼지 해시(Fuzzy Hashing) 는 다음 개념을 의미합니다. 퍼지 해시는 일반적인 해시 함수와 달리, 입력 데이터가 일부 변형되더라도 서로 유사한 해시 값을 생성하여 문서 또는 파일 유사도를 비교하기 위한 기술입니다. 조언 주시면 감사하겠습니다. 좋은 강의 계속 기대하겠습니다. 감사합니다.
<머신러닝, 핵심만 빠르게!> 강의의 무료 쿠폰 발급 링크 와 <밑바닥부터 만들면서 배우는 LLM> 강의의 50% 할인 쿠폰 발급 링크 가 인프런에 등록된 이메일 로 전달됩니다. 이메일로 받지 못해서... 링크 부탁드립니다. 감사합니다. woong2241@naver.com
<대규모 언어 모델, 핵심만 빠르게!> 강의의 무료 쿠폰 발급 링크 와 <밑바닥부터 만들면서 배우는 LLM> 강의의 50% 할인 쿠폰 발급 링크 가 인프런에 등록된 이메일 로 전달됩니다. 이메일로 링크가 없어서 문의드립니다. woong2241@naver.com 입니다. 확인부탁드립니다. 감사합니다^^! 항상좋은강의감사합니다
오영제 선생님 안녕하십니까? 수준높은 강의 잘 듣고 있습니다. 제공해 주신 소스중에 030_IMDB_movie_reviews.ipynb 에 있는 아래의 model 에서 파라미터 숫자를 설명해 주실수 있으신지요? Dense 쪽의 파라미터는 앞전 강의인 파이썬을 활용한 머신러닝 딥러닝 입문 의 실습 - Neural Network을 이용한 Linear Regression - Boston 주택 가격 예측 에서 16분 경에서 설명해 주신대로 설명이 되는데 위쪽 부분은 잘 이해가 가지 않습니다. 죄송하지만 간략하게라도 파라미터 갯수와 왜 이렇게 되었는지 설명해 주시면 감사하겠습니다. 감사드립니다.
안녕하세요 강사님. BERT 학습 파트와 관련하여 궁금한 점이 있어 질문드립니다. 현재 IMDB 데이터를 활용한 긍/부정 분류 학습 과정만 구현되어 있는 것으로 보이는데, 혹시 MLM이나 NSP를 통한 BERT의 초기 pre-training 과정은 포함되어 있지 않은 것인지 궁금합니다. 제가 혹시 놓친 부분이 있다면 죄송합니다. 확인 부탁드립니다. 감사합니다.
안녕하세요 강사님. BERT 관련 강의를 매우 유익하게 듣고 있습니다. Embedding 파트를 학습하던 중 궁금한 점이 생겨 질문드립니다. BERTEmbeddings 클래스 구현에서 초기화 시 max_len 이 주어지는데, forward 단계에서는 input_ids.size(1) 을 사용해 position embedding의 인덱스를 다시 정의하는 과정이 있습니다. 제가 이해한 바로는 이후 tokenizer에서 설정한 max_length 와 실제 입력 길이가 달라질 수 있기 때문에 이러한 처리가 필요한 것으로 보였습니다. 혹시 강사님께서 강의 시 빠른 실행을 위해 tokenizer의 max_length 를 모델의 max_len 과 다르게 설정하셨기 때문에 해당 코드를 넣으신 것인지 궁금합니다. 일반적인 학습 환경에서는 tokenizer의 max_length 와 모델의 max_len 을 동일하게 맞추는 것이 자연스러울 것 같은데, 혹시 제가 놓친 부분이 있다면 설명해주시면 감사하겠습니다.
안녕하세요, 강사님. 강의 잘 듣고 있습니다. 한 가지 궁금한 점이 있는데요, 트랜스포머 Seq2Seq 모델은 구현까지만 되어 있고 학습 과정에 대한 강의는 없는 것 같습니다. 혹시 BERT나 MarianMT 모델의 학습만 포함되어 있는 것인지 여쭤보고 싶습니다. 감사합니다.
예제로 만들어주신 데이터에서 추가적으로 데이터를 변경하여 테스트를 하고 싶은데요 아래 데이터를 가져 올 수 있을가요? Fred에서 제공하는 지표 코드 Yahoo 에서 제공하는 지표와 티커 나스닥 100의 티커 해당 정보를 어떻게 가져오는지 알아야 추후- 응용하면서 사용할 수 있을것 같습니다. 감사합니다.
안녕하세요, 강의 너무나 잘 듣고 있습니다. 다름이 아니라 지금 제가 듣고 있는 mm_faster_rcnn_train_kitti를 다루고 있는 수업에서 old colab버전과 new kaggle 버전을 비교하는 과정에서 차이가 있는데, 이것이 저와 같이 컴뷰터 비전이 처음인 사람들에게 너무 큰 이슈여서 강사님께 이 부분을 개선시키면 어떨까 제안드리고픈게 있어서 제보드립니다. old colab 버전에는 ms coco데이터셋의 annotation 버전에서 변환한 mmdetection의 중립데이터형태 (mid point)에 대한 텍스트와 이미지를 활용한 설명이 꽤 자세하게 들어가 있는데, kaggle버전으로 넘어오면서 이 셀이 통째로 사라진듯하여 kaggle 버전에도 이것을 넣어주시는건 어떨까요? 강의를 봐도 이해가 가지 않아 여러번 돌려보다가 찾아서 제보드립니다 .
최고의 강의 너무나 감사합니다. 설치 시 에러가 있어 문의드립니다. !cd /content/automl/efficientdet; pip install -r requirements.txt note: This error originates from a subprocess, and is likely not a problem with pip. ------------------------------ import inference # 강의영상에는 from keras import anchors 이지만 efficientdet 패키지의 keras 모듈이 tf2 로 변경됨. from tf2 import efficientdet_keras model = efficientdet_keras.EfficientDetModel(config=config) model.build((None, None, None, 3)) print('#### checkpoint name:', tf.train.latest_checkpoint(INFER_CFG.model_dir)) model.load_weights(tf.train.latest_checkpoint(INFER_CFG.model_dir)) model.summary() ValueError: File format not supported: filepath=/content/efficientdet-d0/model. Keras 3 only supports V3 `.keras` and `.weights.h5` files, or legacy V1/V2 `.h5` files.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요? "6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다. 이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요, 인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까? "In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다. 감사합니다. 수고하세요.