묻고 답해요
161만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다
안녕하세요.LLM 관련 강의 잘 듣고 있습니다. 실무 적용에 많은 도움이 되고 있어 감사드립니다.강의 내용과 직접적인 연계는 아니지만, 강의를 듣는 중 궁금한 점이 생겨 문의드립니다.현재 문서 분류 강의를 들으며 생각해본 부분인데, LLM을 이용해 문서 분류가 가능한 것처럼, 퍼지 해시(Fuzzy Hashing)처럼 문서 간 유사도를 하나의 점수 형태(예: 0~100, 혹은 정규화된 점수 등)로 산출하는 것이 가능한지 궁금합니다.점수가 의미론적 유사도이든, 어떤 방식이든 상관없이, LLM이 두 문서를 입력받아 정량적 점수(Scoring Output)를 생성할 수 있는지 알고 싶습니다.만약 가능하다면, 어떤 방식으로 접근하는 것이 적절한지(예: 모델 형태, 프롬프트 전략, 파인튜닝 여부, 평가 기준 등), 방향성을 조언해주시면 도움이 될 것 같습니다.참고로 제가 언급한 퍼지 해시(Fuzzy Hashing)는 다음 개념을 의미합니다.퍼지 해시는 일반적인 해시 함수와 달리, 입력 데이터가 일부 변형되더라도 서로 유사한 해시 값을 생성하여 문서 또는 파일 유사도를 비교하기 위한 기술입니다.조언 주시면 감사하겠습니다.좋은 강의 계속 기대하겠습니다.감사합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
안녕하세요? "6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다. 이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요,인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까?"In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다.감사합니다. 수고하세요.
-
미해결[VLM101] 파인튜닝으로 멀티모달 챗봇 만들기 (feat.MCP)
좋은 강의 감사합니다. 궁금한게 있어 질의 드립니다.
# 모델을 로드하는 코드 model_id = "/work/checkpoints/hf/Qwen2.5-VL-3B-Instruct" # 사용할 모델 경로 지정 model_org = Qwen2_5_VLForConditionalGeneration.from_pretrained( model_id, # 모델 경로로부터 모델 불러오기 device_map="auto", # 자동으로 장치 설정 (예: GPU 사용) torch_dtype=torch.bfloat16, # 모델의 데이터 타입을 bfloat16으로 설정 (메모리 최적화) ) processor = AutoProcessor.from_pretrained(model_id) # 모델에 맞는 processor 불러오기 ==> 질문 사항 (2개) 질문1) 위 코드에 동일한 모델을 model_org 와 processor 로 정의한 거 같은데 왜 이렇게 정의한 이유는 무엇인가요? 질문2) datacollator 는 모델마다 정의하는 방법이 다른 거 같은데 현재 샘플로 주신 모델은 어디를 참고해야 하나요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ
trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_bionlp["train"], eval_dataset=tokenized_bionlp["validation"], tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() 강의에서는 training 하면 바로 된다고 하셨는데, 2025년 8월 현재 입력하면 wandb: Logging into wandb.ai. (Learn how to deploy a W&B server locally: https://wandb.me/wandb-server) wandb: You can find your API key in your browser here: https://wandb.ai/authorize?ref=models wandb: Paste an API key from your profile and hit enter: 위와 같이 나옵니다. 어떻게 하면 될까요?
-
해결됨[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
colab 실습 에러 질문
안녕하세요 colab 실습 강좌를 보고 따라하고 있는중 에러가 나서 질문드립니다.모델을 로딩하고 , 토크나이저 초기화 및 설정, 새로운 토큰 추가 및 모델의 임베딩 크기 조절 과채팅 템플릿 적용 peft 모델 가져오기 까지는 잘 진행되었습니다.trainer = SFTTrainer 생성 부분에서 tokenizer,max_seq_length, neftune_noise_alpha 인자 설정 시 에러가 발생합니다.이부분을 주석으로 처리하면 생성은 되나 정상적으로 학습이 수행되지 않습니다.오류 화면을 첨부합니다. 답변 주시면 감사합니다!
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Llama vision 이미지 해상도
안녕하세요, 지금 한번 llama3.2 vision을 다른 이미지와 테스트를 해보고 있는데, vision이 인식하기 위한 최소 이미지 사이즈나 해상도가 있나요? https://ollama.com/blog/llama3.2-vision이 링크를 통해서 제 로컬에서 실험해보고 있는데, added image는 되는데, 그 이후 답변을 안해 줘서, 혹시 다른 이미지로도 테스트 가능하신지 궁금합니다!
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
API 특정 짓는 법
안녕하세요 선생님1. GPT가 질문에 대한 적절한 답변을 하기 위해서 API 호출하는 것이 어떤 원리인지 잘 모르겠습니다.2. 정해진 API 만 사용할 수 있도록 정하는 방법이 있다면 무엇인가요? (예. 기상청 데이터만 사용하고 싶을 때)
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
소량의 fineTuning 이 미치는 영향
주어진 메세지를 학습할 때 20 개의 데이터를 학습시키는데 이미 엄청난 양의 데이터가 학습이 되어 있는데 이런 자아(system)이 반영될 수 있는건가요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증
Llama2 Fine-Tuning 예제를 보며 meta-llama/Llama-3.1-8BLlama-3.1을 파인튜닝을 하였습니다.파인튜닝한 모델과 Llama-3.1을 병합하여 파인튜닝된 데이터를 물어보니 어느 정도 대답을 잘 하였습니다.하지만 파인튜닝된 이외의 질문을 해봤더니 계속해서 파인튜닝된 데이터만 출력해 주고 있습니다. 예를 들어지구에 대해서 설명해줘라고 했지만 지구와 전혀 상관없는 파인튜닝된 데이터를 출력합니다. 기존 모델의 문제인가 확인하기 위해 파인튜닝과 병합안한 기본 Llama-3.1모델에게 질문하면 지구에 대한 설명을 아주 잘해주고 있습니다. 기본 모델과 파인튜닝한 모델을 병합하면 파인튜닝한 모델 데이터에서만 결과 값을 도출하는지 궁금합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
모델에 대한 성능평가 방법
다른 모델들에 대한 성능을 어떤 방법으로 비교 하였나요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?
지금 fine tuning 단계에서 어떤 데이터셋을 기존의 Llama에 학습을 추가로 시켜서 정보를 더 추가하는 방법 부분을 학습하고 있습니다.혹시 이 반대와 같은 경우가 가능할까요? 예를들어서 Llama모델에서 한국어로 이루어진 모든 데이터를 전부 제거한다. 이런식의 define tuning이 되는 방법이 있는지 궁금합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Lora 기법 질문
Lora 기법으로 인해서 전체 모델의 56%의 파라미터만 fine tuning에 사용됐다고 하는데, 로직 내에서 fine tuning하겠다고 결정하는 기준이 있는건가요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
소스코드 다운받을 장소를 알려 주셔요.
강의에 사용된 소스코드는 어디에 있는지 문의드립니다.PDF파일은 있지만, 예제 풀이에 사용되는 colab에서 동작시키는 소스코드를 다운 받을 위치를 가르쳐 주셨으면 합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
섹션 20~23 강의자료가 없습니다.
안녕하세요. 섹션 20~23 colab링크는 있는데요. 강의자료 pdf가 없어서 문의 드립니다.llama 3.1, 3.2 / LLM최적화등.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
학습시 API Key를 입력하라고 합니다.
학습 시작하면 wandb: Paste an API key from your profile and hit enter, or press ctrl+c to quit: 하고 입력을 기다리네요. 어떤 것을 입력해야 하나요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
OpenAI Assistants tools 중 retrieval 기능
안녕하세요OpenAI Assistants tools 기능중 retrieval 기능 대신 File Search 기능이 doc 페이지에서 보이는데 사용자가 upload 한 pdf file 을 기반으로 QnA 를 할 수 있는 기능은 이젠 제공되지 않나요?
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수
안녕하세요 수업노트의 코드를 실행했을때 Assistant's Response message value 에서 중간 풀이 과정이 출력되지 않는데 동영상과 차이가 뭘까요?ㅇ 동영상 Value = "I need to solve the equation 3x + 11 = 14. Can you help me?"Value = "Sure, Jane Doe! To solve the eqation 3x + 11 = 14 for x, We need to isolate x on the one side of eqation. Here's how we can do it step by step. Subtract 11 from both sides of the eqation to get '3x' by itself on one side. That leaves us with '3x = 14 - 11' Simplify the right side of equation to find out what '3x' equation. Divide both sides of the equation by 3 to solve for 'x' Let's do the calculation"Value = "The solution to the equation '3x + 11 = 14' is x = 1"ㅇ 실습코드value='The solution to the equation \\(3x + 11 = 14\\) is \\(x = 1\\).')'I need to solve the equation 3x + 11 = 14. Can you help me?'
-
해결됨모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Fine Tuning 후 inference 하는 예시(코드) 질문
안녕하세요 우선 커리큘럼을 차례대로 재밌게 학습하고 있습니다LLM finetuning 후 추론하는 예시를 따라하고 있는데요아래 박스는 혹시 필요 없는 문장이 아닌가 해서 질문 드립니다감사합니다
-
해결됨[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
폐쇄 환경에서 챗봇
안녕하세요! 강사님강의 너무 잘들었습니다. 인터넷이 끊긴 폐쇄 환경에서 강의에서의 데모 버전을 구현하려고 합니다. 허깅페이스에서 모델을 다운받아서 진행하면 될까요?
-
해결됨[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
런타임 유형 변경 및 토크나이저 관련 에러
안녕하세요 코랩 실습 과정 중하드웨어 가속기 선택할 때 V100이 비활성화 되어있을경우 어떤 것을 선택해야 하는지 문의 드립니다.아울러 모델튜닝 실습 중 tokenizer.default_chat_template 부분에서 에러가 뜨는데 다음 단계로 넘어갈 수 있도록 하는 방법이 있을까요? 이후 패스하고 넘어간다고 해도 PEFT - LoRA부분에서도 에러가 뜹니다. 혹시 위 부분에서 pip install flash-attn===1.0.4 부분을 처리하지 않아서 오류가 난 것일까요?
