174만명의 커뮤니티!! 함께 토론해봐요.
미해결
챗봇을 만들며 배우는 ai agent 개발의 모든것(fastapi, RAG, vector, LangChain, sLLM/파인튜닝)
Gemini File Search API도 RAG와 관련해서 유튜브 동영상에서 언급된 것을 보았습니다. 혹시 이 솔루션도 설명해주실 수 있을까요? Open AI text-embedding-3-large 모델과 같은 유로 임베딩 모델이라고 생각하면 되는 걸까요?!
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
처음 pip가 에러나서 디버깅해서 다음단계로 나아갔으나 그 이후 아래 부분에서 에러가 납니다. 업데이트를 부탁드립니다. # tags는 label id를 나타냅니다. bionlp = load_dataset("tner/bionlp2004") bionlp["train"][0] https://colab.research.google.com/drive/1ViGQuvsBhAbzcXvOyNawlWwux-VXMx1L?usp=sharing
미해결
챗봇을 만들며 배우는 ai agent 개발의 모든것(fastapi, RAG, vector, LangChain, sLLM/파인튜닝)
안녕하세요! 요즘은 제미나이, 클로드도 많이 쓰는걸로 알고 있는데, 임베딩 api는 gpt가 더 낫다고 보시나요? 실무에서도 써보고 싶어 문의드립니다.
미해결
챗봇을 만들며 배우는 ai agent 개발의 모든것(fastapi, RAG, vector, LangChain, sLLM/파인튜닝)
강의 노션 링크나 github 정보는 화면 보면서 하나하나 쳐야 하는걸까요?
미해결
챗봇을 만들며 배우는 ai agent 개발의 모든것(fastapi, RAG, vector, LangChain, sLLM/파인튜닝)
fastapi 구조와 실행에서 postman에 사용하는 json은 어디서 받을 수 있을까요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
섹션 22 퀴즈 문제 풀이와 답이 맞는건가요? 강의에서 언급된 O1 API 베타 버전의 주요 제한 사항이 아닌 것은 무엇인가요? A 함수 호출 지원 B 시스템 메시지 지원 이미지 입력 지원 D 일부 하이퍼파라미터 조정 제한 해설 O1 API 베타 버전은 이미지 입력, 시스템 메시지, 함수 호출, Batch API 등이 지원되지 않으며, 온도와 같은 하이퍼파라미터도 고정되어 있어요.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요. LLM 관련 강의 잘 듣고 있습니다. 실무 적용에 많은 도움이 되고 있어 감사드립니다. 강의 내용과 직접적인 연계는 아니지만, 강의를 듣는 중 궁금한 점이 생겨 문의드립니다. 현재 문서 분류 강의를 들으며 생각해본 부분인데, LLM을 이용해 문서 분류가 가능한 것처럼, 퍼지 해시(Fuzzy Hashing)처럼 문서 간 유사도를 하나의 점수 형태(예: 0~100, 혹은 정규화된 점수 등)로 산출하는 것이 가능한지 궁금합니다. 점수가 의미론적 유사도이든, 어떤 방식이든 상관없이, LLM이 두 문서를 입력받아 정량적 점수(Scoring Output)를 생성할 수 있는지 알고 싶습니다. 만약 가능하다면, 어떤 방식으로 접근하는 것이 적절한지(예: 모델 형태, 프롬프트 전략, 파인튜닝 여부, 평가 기준 등), 방향성을 조언해주시면 도움이 될 것 같습니다. 참고로 제가 언급한 퍼지 해시(Fuzzy Hashing) 는 다음 개념을 의미합니다. 퍼지 해시는 일반적인 해시 함수와 달리, 입력 데이터가 일부 변형되더라도 서로 유사한 해시 값을 생성하여 문서 또는 파일 유사도를 비교하기 위한 기술입니다. 조언 주시면 감사하겠습니다. 좋은 강의 계속 기대하겠습니다. 감사합니다.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요? "6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다. 이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요, 인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까? "In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다. 감사합니다. 수고하세요.
미해결
[VLM101] 파인튜닝으로 멀티모달 챗봇 만들기 (feat.MCP / RunPod)
# 모델을 로드하는 코드 model_id = "/work/checkpoints/hf/Qwen2.5-VL-3B-Instruct" # 사용할 모델 경로 지정 model_org = Qwen2_5_VLForConditionalGeneration.from_pretrained( model_id, # 모델 경로로부터 모델 불러오기 device_map="auto", # 자동으로 장치 설정 (예: GPU 사용) torch_dtype=torch.bfloat16, # 모델의 데이터 타입을 bfloat16으로 설정 (메모리 최적화) ) processor = AutoProcessor.from_pretrained(model_id) # 모델에 맞는 processor 불러오기 ==> 질문 사항 (2개) 질문1) 위 코드에 동일한 모델을 model_org 와 processor 로 정의한 거 같은데 왜 이렇게 정의한 이유는 무엇인가요? 질문2) datacollator 는 모델마다 정의하는 방법이 다른 거 같은데 현재 샘플로 주신 모델은 어디를 참고해야 하나요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_bionlp["train"], eval_dataset=tokenized_bionlp["validation"], tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() 강의에서는 training 하면 바로 된다고 하셨는데, 2025년 8월 현재 입력하면 wandb: Logging into wandb.ai. (Learn how to deploy a W&B server locally: https://wandb.me/wandb-server) wandb: You can find your API key in your browser here: https://wandb.ai/authorize?ref=models wandb: Paste an API key from your profile and hit enter: 위와 같이 나옵니다. 어떻게 하면 될까요?
해결됨
[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
안녕하세요 colab 실습 강좌를 보고 따라하고 있는중 에러가 나서 질문드립니다. 모델을 로딩하고 , 토크나이저 초기화 및 설정, 새로운 토큰 추가 및 모델의 임베딩 크기 조절 과 채팅 템플릿 적용 peft 모델 가져오기 까지는 잘 진행되었습니다. trainer = SFTTrainer 생성 부분에서 tokenizer,max_seq_length, neftune_noise_alpha 인자 설정 시 에러가 발생합니다. 이부분을 주석으로 처리하면 생성은 되나 정상적으로 학습이 수행되지 않습니다. 오류 화면을 첨부합니다. 답변 주시면 감사합니다!
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요, 지금 한번 llama3.2 vision을 다른 이미지와 테스트를 해보고 있는데, vision이 인식하기 위한 최소 이미지 사이즈나 해상도가 있나요? https://ollama.com/blog/llama3.2-vision 이 링크를 통해서 제 로컬에서 실험해보고 있는데, added image는 되는데, 그 이후 답변을 안해 줘서, 혹시 다른 이미지로도 테스트 가능하신지 궁금합니다!
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 선생님 1. GPT가 질문에 대한 적절한 답변을 하기 위해서 API 호출하는 것이 어떤 원리인지 잘 모르겠습니다. 2. 정해진 API 만 사용할 수 있도록 정하는 방법이 있다면 무엇인가요? (예. 기상청 데이터만 사용하고 싶을 때)
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
주어진 메세지를 학습할 때 20 개의 데이터를 학습시키는데 이미 엄청난 양의 데이터가 학습이 되어 있는데 이런 자아(system)이 반영될 수 있는건가요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Llama2 Fine-Tuning 예제를 보며 meta-llama/Llama-3.1-8B Llama-3.1을 파인튜닝을 하였습니다. 파인튜닝한 모델과 Llama-3.1을 병합하여 파인튜닝된 데이터를 물어보니 어느 정도 대답을 잘 하였습니다. 하지만 파인튜닝된 이외의 질문을 해봤더니 계속해서 파인튜닝된 데이터만 출력해 주고 있습니다. 예를 들어 지구에 대해서 설명해줘라고 했지만 지구와 전혀 상관없는 파인튜닝된 데이터를 출력합니다. 기존 모델의 문제인가 확인하기 위해 파인튜닝과 병합안한 기본 Llama-3.1모델에게 질문하면 지구에 대한 설명을 아주 잘해주고 있습니다. 기본 모델과 파인튜닝한 모델을 병합하면 파인튜닝한 모델 데이터에서만 결과 값을 도출하는지 궁금합니다.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
다른 모델들에 대한 성능을 어떤 방법으로 비교 하였나요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
지금 fine tuning 단계에서 어떤 데이터셋을 기존의 Llama에 학습을 추가로 시켜서 정보를 더 추가하는 방법 부분을 학습하고 있습니다. 혹시 이 반대와 같은 경우가 가능할까요? 예를들어서 Llama모델에서 한국어로 이루어진 모든 데이터를 전부 제거한다. 이런식의 define tuning이 되는 방법이 있는지 궁금합니다.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Lora 기법으로 인해서 전체 모델의 56%의 파라미터만 fine tuning에 사용됐다고 하는데, 로직 내에서 fine tuning하겠다고 결정하는 기준이 있는건가요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
강의에 사용된 소스코드는 어디에 있는지 문의드립니다. PDF파일은 있지만, 예제 풀이에 사용되는 colab에서 동작시키는 소스코드를 다운 받을 위치를 가르쳐 주셨으면 합니다.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요. 섹션 20~23 colab링크는 있는데요. 강의자료 pdf가 없어서 문의 드립니다. llama 3.1, 3.2 / LLM최적화등.
