2가지 질문이 있는데요. 과정 중에는 dify 내에서의 앱 실행 만을 해봤는데 다른 도메인의 웹 페이지 내에 만든 dify앱을 embed 하는 것도 가능할까요? 예를 들어 26강의 투자분석 보고서 같은 앱을 만들어서 웹 페이지 내에서 사용자에게 입력을 받고 결과를 화면에 배치해서 보여주는 것이요. 2. 제가 구축한 RAG나 TAG 데이터베이스를 노출시키지 않고도 똑같은 dify앱을 만들어주는 것도 가능한지도 궁금합니다. 제가 만약 어떤 분야에서 꼭 필요한 dify 앱을 만들었다면 제가 앱을 만들기 위해 구축해놓은 지식들은 외부에 노출을 하지 않고 앱만 배포를 해서 사용하게 한다던지 하는게 가능한지요
안녕하세요. 강의에서 나오는 BitsAndBytesConfig 를 통한 양자화 예시에서 CUDA 가 필수로 요구되어 macbook에서 진행할 수 있는 방안을 찾다가 mlx_lm 을 통해서 MPS(mac의 gpu)를 활용하여 양자화가 가능하단 사실을 알게되어 공유드리고자 합니다. 아마 맥북 사용자도 꽤 많을 것으로 예상됩니다. langchain에서 MLXPipeline 을 제공하지만 이를 사용했을 때 현재 invoke시 호출되는 _call 메서드 내부에서 generate_step 이 mlx_lm에서 제공은 하지만 MLXPipeline 에서 제대로 불러올 수 없어 RunnableLambda 를 통해서 에러를 우회해봤습니다.(Q? 강사님은 혹시 해결 방법을 알고 계실까요? 공홈 코드가 다 안 되네요 ㅜㅜ 오류 코드는 맨 아래 첨부하겠습니다. ) 먼저 양자화 진행하는 방식입니다. cli를 통한 command 또는 python-api 를 활용하는 방법 두 가지가 있습니다. 자세한건 링크 첨부하겠습니다. 양자화 개념에 대해서 자세히 나오니 참고하면 좋으실 듯 합니다. 링크: [quantization with xlm_lm]( https://developer.apple.com/kr/videos/play/wwdc2025/298/?time=187 ) mlx_lm을 통한 양자화 먼저 양자화한 model을 local path에 저장합니다. 그 전에 apple의 gpu를 확인할 수 있는 코드 부분은 처음 부분에서 확인하실 수 있습니다. 사실 python코드를 싸는 것보다 command로 양자화 진행하는게 편한 것 같습니다. 전 projection layer와 embedding layer는 다른 layer보다 높은 bit로 해주는게 좋다고 하여 python으로 진행했습니다. dequantize on-the-fly(게산 추론) 시 더 좋다고 합니다. # mac에서 mps를 사용한 예제 import torch from mlx_lm.convert import convert print("MPS available on this device =>", torch.backends.mps.is_available()) # projection layer & embedding layer는 6bit, 양자화 가능한 layer는 4bit, 양자화 불가능은 False return def mixed_quantization(layer_path, layer): if "lm_head" in layer_path or 'embed_tokens' in layer_path: return {"bits": 6, "group_size": 64} elif hasattr(layer, "to_quantized"): return {"bits": 4, "group_size": 64} else: return False # quantization 진행 convert( hf_path="microsoft/Phi-3-mini-4k-instruct", mlx_path="./models/microsoft-Phi-3-mini-4k-instruct-mixed-4-6-bit", dtype="float16", quantize=True, q_bits=4, q_group_size=64, quant_predicate=mixed_quantization ) $) mlx_lm.convert --hf-path "mistralai/Mistral-7B-Instruct-v0.3" \ --mlx-path "./mistral-7b-v0.3-4bit" \ --dtype float16 \ --quantize --q-bits 4 --q-group-size 64 --upload-repo "my-name/mistral-7b-v0.3-4bit" Langchain과 연계하기 from functools import wraps from langchain_core.runnables import RunnableLambda from langchain_core.output_parsers import StrOutputParser from mlx_lm import generate, load quantized_model_path = "./models/microsoft-Phi-3-mini-4k-instruct-mixed-4-6-bit" model, tokenizer = load(quantized_model_path) def runnable_wrapper(func): """RunnableLambda wrapper function""" @wraps(func) def wrapper(*args, **kwargs): return RunnableLambda(func) return wrapper @runnable_wrapper def create_chat_prompt(question): messages = [ { "role": "system", "content": """ You are an expert in information retrieval and summarization. Your job is to read the provided text and produce a precise, faithful, and concise summary. Prioritize the author’s main claim, key evidence, and conclusions. Use plain English and avoid filler. Do not invent facts that aren’t present in the input. """ }, { "role": "user", "content": f""" Question: {question} """ } ] prompt_without_tokenized = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False) prompt_with_tokenized = tokenizer.apply_chat_template(messages, add_generation_prompt=True) print("생성된 prompt👇\n", prompt_without_tokenized) return prompt_with_tokenized @runnable_wrapper def run_llm_with_mlx(prompt): return generate(model=model, tokenizer=tokenizer, prompt=prompt) @runnable_wrapper def output_parser(answer): return answer.replace("<|end|>", "") chain = create_chat_prompt() | run_llm_with_mlx() | output_parser() 오류 코드 llm.invoke 에서 에러가 발생하며 TypeError: generate_step() got an unexpected keyword argument 'formatter' 라는 에러가 발생합니다. from langchain_community.llms.mlx_pipeline import MLXPipeline from mlx_lm import load model_path = "./models/microsoft-Phi-3-mini-4k-instruct-mixed-4-6-bit" model, tokenizer = load(model_path) llm = MLXPipeline( model=model, tokenizer=tokenizer ) llm.invoke("what's my name?")
강병진 강사님 안녕하세요 우선 저와 같은시기쯤? 울산에 있으셨다고 하니 반갑습니다. 저는 병진강사님과 인연이 많은것 같습니다. 강사님 전 회사? 정유회사 바로 옆에 제련회사에서 딥러닝 이미지 처리 프로젝트를 개발하고 있었습니다. 병진강사님 덕분에 생성형 AI도 따로 학습을 하고 있고 개별적인 프로젝트도 하고 있습니다. 감사합니다. 질문.1 RAG를 구성하고 문서를 벡터DB에 지속하여 업데이트를 위해서 PDF 텍스트·이미지 분석 → RAG용 JSON/JSONL 생성 → Pinecone 적재가능하도록 PyQt GUI 프로그램 만들었는데 여기서 추가적으로 생성되는 문서를 지속적으로 업데이트를 해야할 경우 25년 10월 초에 새로나온 Open AI에 에이전트 툴을 이용해서 일정 시간에 자동으로 Pinecone에 업데으트 해주는 에이전트를 만들어서 자동화를 하려고 하는데 이런 전략을 구성할 경우 문제가 될 부분이 있을까요? 질문.2 모델을 만들고 회사가 가지고 있는 특허 문서 파일을 RAG로 구성을 완료한 후 외부 사이트 >> 각 국가의 특허청에 파일을 검색해서 유사도를 분석하거나 하려고 할 때 전략은 어떻게 가져가면 좋을지? 입니다.
8강에서 이메일 트리거가 계속 리스닝 상태입니다. 지메일 앱 비밀번호도 입력했고 몇번을 실행해봐도 리스닝상태에서 벗어나질 못합니다 비슷한 질문이 있어 답변을 읽어봤는데 구글 앱 비밀번호가 문제일 가능성이 있다고 하는데 앱 비밀번호는 여러번 입력해봤습니다 어느 부분을 수정해야 할까요?
주피터 노트북에서 %pip install langchain-openai python-dotenv 이 코드를 실행 하면 아래 에러가 자꾸 뜹니다. 커널을 시작하지 못했습니다. 커널 'venv (3.11.9) (Python 3.11.9)'을(를) 시작하지 못했습니다. 자세한 내용은 Jupyter 로그을 참조하세요. listen EFAULT: bad address in system call argument 192.168.30.146:9001 참고로 저는 윈도우 유저고 가상환경은 venv를 사용하고 있습니다.
안녕하세요 너무 유익한 강의 잘 듣고 있습니다 :) 강의를 듣다보니 RAG와 파인튜닝은 LLM의 할루시네이션을 줄이고 특정 도메인에 대한 지식을 주입하면서 더 적절한 답변을 낼 수 있다는 측면에서 닮아 보인다는 느낌을 받았습니다. 물론 두 방법의 차이나 적용 사례는 구글링하면서 쉽게 찾을 수 있지만 만약 강사님이 특정 도메인에 특화된 LLM을 개발하신다면 어떤 기준과 절차로 RAG와 파인튜닝을 선택하고 활용하시는지 강사님의 개인적인 생각이 궁금합니다 :)
graphRAG - Neo4J로 구현하는 지식 그래프 기반 RAG 시스템 (feat. LangChain)
지식그래프(KG) 검색 - Text2Cypher 기법지식그래프(KG) 검색 - Text2Cypher 기법 여기 커리큘럼에서 갑자기 LangChain smith 관련 내용이 나오는데 이거 관련한 설정이나 Langchain이 LLM(GPT, Gen) 과 같은 설명이 좀 있었으면 좋겠어요 그리고 한글에 대한 정보를 이해하기 위해서, 좀더 부가적인 설정이 필요한지 궁금해요~
31강 공공데이터 API 를 사용하여 자동화하는 공부중인데요, 정부 전산센터 화재로 인해, 공공데이터 포털 접속이 되질 않아 실습을 할 수가 없네요^^ 공공데이터에 대해 관심이 많은데^^ 아쉽습니다... 실습을 하려면, 공공데이터 포털이 빨리 복구 되는 수 밖에 없겠죠?? 항상 열정적인 강의 감사드립니다..
현재 국가전산망 화재로 소득세법을 '국가법령센터'가 장애중입니다. 대체사이트인 (사법정보공개포탈)에서는 PDF와 TXT만 다운로드가 가능합니다. 대부분 pdf화일 문서가 많은데, word말고 pdf문서를 임베딩하는 방법/강의가 있었으면 합니다. 추가로, 문서내 텍스트외에 도형이나 표같은경우는 어떻게 임베딩을 하면 좋을까요?
안녕하세요, 강사님. 강의 덕분에 RAG를 활용한 챗봇을 성공적으로 구현해서 잘 사용하고 있습니다! (질문1) 다만, RAG 구조상 사용자의 질문과 가장 유사한 문서 조각(chunk)을 찾아서 그 안에서만 답변을 생성하다 보니, 전체 문서를 이해해서 답변을 해주지는 못하는 점이 아쉽습니다. RAG로 학습시킨 매뉴얼이 약 47페이지 정도이고 양이 많지 않은데, 이 전체 매뉴얼의 내용 전체를 이해하고 종합적으로 답변할 수 있는 방법이 있을까요? 출처를 알려줄 수 있는 RAG의 분명한 장점이 있어서, 현재의 RAG 기반 구조를 유지한 채 개선을 할 수 있는 방법이 있을지 궁금합니다. (질문2) 47페이지 문서 외에 더 자세한 매뉴얼을 추가로 반영하려고 하는데요, 이때 pinecone에 동일 DB(인덱스)로 그냥 추가하는게 좋을지 아니면 더 나은 구조가 있을지 조언 구하고 싶습니다. 감사합니다.
어떤 강의에 대한 질문인지 자세하게 알려주시면 답변을 드리는데 도움이 됩니다. 스크린샷 윈도우키 + 쉬프트키 + S(윈도우) 을 자세히 첨부하시면 답변 드리는데 많은 도움이 됩니다. 동영상 재생 관련 같은 인프런 서비스 관련 문의는 1:1 문의하기를 이용해 주세요. < 17. 텔레그램으로 구현하는 음성 기반 AI 비서: 메일 확인부터 회신까지 자동화하기>강의 질문 ai agent 뒤에 언어체를 설정하는 basic llm chain을 넣어주셨는데 basic llm chain에 넣어주신 프롬프트를 다 ai agent프롬프트에 같이 넣어서 실행해도 되지 않나요? 왜 따로 basic llm chain을 추가하셨는지 궁금합니다.
