묻고 답해요
167만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
과거 채팅이력을 LLM에 줄때 포멧
안녕하세요. 강의에서 정의하신 아래의 함수에서 final_answer에 입력값을 넣는것이 결국 리스트 형태의 데이터고, 리스트는 HumanMessage와 AIMessage가 번갈아가면서 저장되어 있을텐데 llm모델에 이렇게 리스트 형태로 HumanMessage, AIMessage의 객체들을 상관없이 대입해도 괜찮은가요? langchain에서 사용하는 invoke라는 매서드가 내부적으로 이런 타입들을 처리하는 로직을 실행하나요? 감사합니다. def answer_invoke(message, history): history_langchain_format = [] for human, ai in history: history_langchain_format.append(HumanMessage(content=human)) history_langchain_format.append(AIMessage(content=ai)) history_langchain_format.append(HumanMessage(content=message)) # 현재 메시지에 대해 RAG 체인 실행 rag_response = run_route_rag_chain(message) # 답변 생성 모델에게 현재 메시지에 대한 답변 요청 final_answer = answer_llm.invoke( history_langchain_format[:-1] + [AIMessage(content=rag_response)] + [HumanMessage(content=message)] ) return final_answer.content
-
미해결RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
OpenAIEmbeddings모델이 사용하는 토크나이저는 뭘까요?
안녕하세요. 강의 잘 듣고 있습니다. OpenAIEmbedding모델을 이용해서 텍스트를 벡터화 하는 것까지는 이해가 되었는데, 텍스트를 임베딩모델에 넣을 때, 토크나이징을 한 결과를 input으로 사용하는지, 그렇다면 어떤 토크나이징 모델을 사용하는지 궁금합니다.아니면 토크나이징 없이 바로 임베딩 모델에 대입하는건가요?
-
미해결RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
ChatPromptTemplate의 from_messages로 메세지를 구성할 때 system은 어떻게 설정해야하나요?
안녕하세요.. ChatPromptTemplate의 from_messages로 메세지를 구성할 때 system값과, user값이 있는데 각 값의 역할과 어떻게 구성해야 하는지 알 수 있나요? 감사합니다
-
미해결RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
create_retrieval_chain에서 context는 지정된 인자인가요?
아래 코드에서 create_retrieval_chain에 인자로 combine_docs_chain을 사용하는데요, retrieval_qa_chat_prompt에서 정의한 {context}는 프롬프트에 고정적으로 있어야 하는 부분인가요? 내부적으로 context라는 이름으로 정해져있는 것인지 궁금합니다.retrieval_qa_chat_prompt = ChatPromptTemplate.from_template(""" 다음 컨텍스트를 바탕으로 질문에 답변해주세요. 컨텍스트에 관련 정보가 없다면, "주어진 정보로는 답변할 수 없습니다."라고 말씀해 주세요. 컨텍스트: {context} 질문: {input} 답변: """) # 체인 생성 combine_docs_chain = create_stuff_documents_chain(llm, retrieval_qa_chat_prompt) rag_chain = create_retrieval_chain(retriever, combine_docs_chain) # 체인 실행 query = "테슬라 창업자는 누구인가요?" response = rag_chain.invoke({"input": query})
-
미해결RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
vectorstore의 as_retriever와 similarity_search는 같은 로직인가요?, 사용되는 검색 알고리즘은 뭔가요?
안녕하세요. 강의 잘 듣고 있습니다. 제목이 곧 질문인데요.Chroma로 생성한 vectorstore객체의 as_retriever매서드와 similarity_search는 내부적으로 같은 알고리즘 혹은 로직을 사용하나요? 그렇다면 이 두가지 매서드의 차이점은 langchain을 사용할 때 편의성 차원에서 as_retriever가 더 좋다 이렇게 알고있으면 되는걸까요? 또한 내부에서 사용되는 검색 알고리즘은 어떤건지 알 수 있을까요? 감사합니다.
-
미해결맞춤형 LLM 만들기 : 처음 시작하는 분을 위한 RAG 기초 개념부터 멀티모달·Agent 실습까지
test.pdf
첨부파일이 어딧죠 실습데이터 셋 안 열리는데
-
미해결LangGraph를 활용한 AI Agent 개발 (feat. MCP)
2.3강 18분 initial_state에서 오류가 납니다
안녕하세요 langchain강의를 듣고 도움이 되어 langgraph 강의도 열심히 수강하고 있습니다! 2.2강의에서 알려주신 langsmith의 hub가 공식문서에는 client로 변경이 되어 그에 맞게 수정을 했습니다.from langsmith import Client from langchain_openai import ChatOpenAI LANGSMITH_API_KEY = os.getenv("LANGSMITH_API_KEY") client = Client(api_key=LANGSMITH_API_KEY) prompt = client.pull_prompt("rlm/rag-prompt", include_model=True) llm = ChatOpenAI(model = 'gpt-4o')같은 방법으로 2.3 강에서도 # Create a LANGSMITH_API_KEY in Settings > API Keys from langsmith import Client from typing import Literal from langchain_core.output_parsers import JsonOutputParser client = Client(api_key=LANGSMITH_API_KEY) doc_relevance_prompt = client.pull_prompt("langchain-ai/rag-document-relevance", include_model=True) def check_doc_relevance(state: AgentState) -> Literal['generate', 'rewrite']: query = state['query'] context = state['context'] print(f'context == {context}') doc_relevance_chain = doc_relevance_prompt | llm #prompt를 활용해서 llm을 호출한다. response = doc_relevance_prompt.invoke({'question': query, 'documents': context}) print(f'doc relevance response: {response}') if response['Score'] == 1: return 'generate' return 'rewrite'이런 식으로 진행하고 있습니다.그래서 그런지 graph.invoke(initial_state)를 하면 이런 오류가 나는데 langsmith의 client 때문일까요? 아니면 다른 부분에 있는 걸까요?
-
미해결처음 해보는 맞춤형 LLM 만들기 – LoRA & QLoRA 파인튜닝 입문
강의 버퍼링 문제
안녕하세요, 강의 듣고 있는데 유독 강의가 버퍼링이 심합니다. 크롬 뿐만 아니고 Microsoft edge 등으로 해도 똑같은 현상이 발생합니다.
-
미해결LLM Finetuning : RunPod와 Multi-GPU 실습
stop button 이 안보이는데요?
terminate 만 있고 stop 버튼은 없는데요? terminate 누르면 걍 싹 삭제되서 다시 셋팅해야되고... 그냥 뉍두면 지가 돈 계속 깍아먹고... 이거 뭐 어쩌란 거죠?
-
미해결LLM Finetuning : RunPod와 Multi-GPU 실습
이 강의를 들으면 쇼핑몰 챗봇도 커버가 가능하나요?
LLM 파인튜닝을 해본적이 없어서 궁금한점이 많습니다.현재 강의의 목적이 shakepeare 스타일의 번역이라고 하셨는데, 그러면 이 강의를 들으면 번역에만 국한 되는건지, 아니면 사용자의 질문에 대답하는 챗봇 형태 등 다른 목적이나 분야도 커버가 되는건지 궁금합니다.
-
미해결LLM 애플리케이션 경험 공유회
사내망 전용 챗봇 개발
안녕하세요 현재 직원수가 400명 정도 되는 중견 기업에서 IT 부서에 근무하고 있는 직원 입니다.현재 python 으로 streamlit 이용해서 사내망 전용 챗봇을 개발 중입니다.ollama 를 이용 해서 일부 개발 진행 중인데 답변도 정확하지 않는 부분이 많습니다. 어떻게 하면 좋을까요 그리고 사내망 전용 챗봇 개발 시 참고 해야될 부분이 있으면 알려주시면 감사하겠습니다.
-
미해결AI 에이전트로 구현하는 RAG 시스템(w. LangGraph)
모델의 성능에 따라서 선택하는 도구가 많이 차이 나나요?
현재 섹션 2.16번 강의 학습 중에 있습니다.ollma를 통해서 gpt-oss:20b 모델을 로컬로 연결해서 학습하고 있는데, search_web 도구로만 응답을 하더라구요. 아무리 쿼리를 바꿔도 wiki_summary, wiki_search 와 같은 도구를 호출해서 응답을 작성하지 않습니다. 혹시 제가 놓치고 있는게 있을까요?
-
미해결LangGraph를 활용한 AI Agent 개발 (feat. MCP)
zerox 사용 시 강의에서 사용된 모델로 진행했을 때의 문제점.
안녕하세요 강사님!langchain 강의부터 잘 수강하고 있는 수강생입니다! 이번 강의 수강 중 궁금증이 생겨 질문 드립니다.zerox 라이브러리 사용해 md 파일로 변환하는 과정 중 자주 발생하는 에러가 있습니다.소스 코드는 강의내에서 작성한 코드와 똑같습니다1. ERROR:root:Failed to process image Error: Error in Completion Response. Error: litellm.RateLimitError: RateLimitError: OpenAIException - Error code: 429 - {'error': {'message': 'Rate limit reached for gpt-4o-mini in organization org-dDgP5bwE5XYlEkdzK49V0oM5 on tokens per min (TPM): Limit 200000, Used 200000, Requested 807. Please try again in 242ms. Visit https://platform.openai.com/account/rate-limits to learn more.', 'type': 'tokens', 'param': None, 'code': 'rate_limit_exceeded'}} LiteLLM Retried: 3 times Please check the status of your model provider API status. 2. Give Feedback / Get Help: https://github.com/BerriAI/litellm/issues/new LiteLLM.Info: If you need to debug this error, use litellm.set_verbose=True'. ERROR:root:Failed to process image Error: Error in Completion Response. Error: litellm.RateLimitError: RateLimitError: OpenAIException - Error code: 429 - {'error': {'message': 'Rate limit reached for gpt-4o-mini in organization org-dDgP5bwE5XYlEkdzK49V0oM5 on tokens per min (TPM): Limit 200000, Used 200000, Requested 807. Please try again in 242ms. Visit https://platform.openai.com/account/rate-limits to learn more.', 'type': 'tokens', 'param': None, 'code': 'rate_limit_exceeded'}} Please check the status of your model provider API status.위와 같이 모두 '분당 토큰 수' 제한 에러입니다.저는 처음에는 위 문제를 해결하기 위해 pdf 문서를 chunking 하여 한 번에 처리되는 토큰을 제한하려고 했습니다.=> 예) 총 페이지를 약 5~6개로 나눠 보내는 방법def get_total_pages(path: str) -> int: try: from pypdf import PdfReader except Exception: from PyPDF2 import PdfReader # 호환 return len(PdfReader(path).pages) def make_batches(total_pages: int, size: int): pages = list(range(1, total_pages + 1)) # 1-indexed for i in range(0, total_pages, size): yield pages[i:i + size]total = get_total_pages(PDF_PATH) print(f"Total pages: {total}") merged = [] for pages in make_batches(total, BATCH_SIZE): res = await process_with_backoff(pages) # 여기서 배치로 나눠진 항목들 수행=> 문제점 : zerox는 한 호출에서 처리한 페이지들만 마크다운 파일로 만들어 output_dir에 저장하고, 그 뒤에 만들어지는 파일들은 이어 붙여지지 않고 덮어 씌워집니다.이를 해결하기 위해 비즈니스 로직을 좀 더 구현해야 하나? 했는데.. 이 방법이 맞는지, 시간만 뺏기게 되는게 아닌지 의문이어서 일단 그만두었습니다. 두번째로는 강사님이 사용하신 모델 'gpt-4o-mini' 를 'gpt-4.1-mini' 로 변경하였습니다. 모델을 바꾸니 바로 해결이 되긴 했습니다.여기서 제가 궁금한 점은 현업에서 이런 작업을 진행 하다 보면 이런 데이터 전처리를 많이 하게 될 거 같은데.. 사이즈가 너무 큰 데이터는 어떤 방식으로 limit나 기타 오류(아직 어떤 오류가 빈번한지는 잘 모르는 상태입니다.)들을 해결해야 하는지가 궁금합니다!모델을 바꾸는게 맞는건지, 원본 데이터를 최대한 chunking 해서 제가 맨 위에 오류로 보여드린 200000 TPM 을 맞추려고 해야 되는건지... 요런 부분들이 궁금합니다! 긴 글 읽어주셔서 감사합니다!
-
미해결처음 해보는 맞춤형 LLM 만들기 – LoRA & QLoRA 파인튜닝 입문
추가 강의는 언제 올라오나요?
안녕하세요.8월 중으로 추가 강의가 올라온다고 되어있는데언제쯤 볼 수 있을까요?답변 부탁드립니다. 감사합니다.
-
미해결맞춤형 LLM 만들기 : 처음 시작하는 분을 위한 RAG 기초 개념부터 멀티모달·Agent 실습까지
섹션 1 퀴즈 2번 문제 리포팅
섹션 1 퀴즈 2에 정답이 2개 검색기, 생성기지만 선택이 하나만 되는 문제가 있습니다.멀티플 초이스가 안되고 생성기만 선택하면 오답으로 반응함.
-
미해결RAG를 활용한 LLM Application 개발 (feat. LangChain)
Langchain을 활용한 실습 주제 추천해주실 수 있으신가요?
안녕하세요 강사님! 이번에 처음 langchain 입문해서 강사님 기초 강의부터 쭉 수강했습니다개념 이해와 실습까지 함께 할 수 있어서 정말 좋았습니다! 다름이 아니구 혹시 실무에서 경험해볼수있는 실습 주제를 몇가지 추천해주실 수 있으신가요..? 아무래도 처음이다 보니 한번에 감이 잡히진 않아서요!! 감사합니다!
-
미해결[입문/초급] 다양한 예제를 통한 추천 시스템 구현
강의 pdf
안녕하세요~!강의 pdf 파일 받을 수 있을까요? 강의 듣고 복습하는데 pdf 파일로 복습하려고 하거든요!
-
해결됨RAG를 활용한 LLM Application 개발 (feat. LangChain)
tax_with_markdown 파일 내용 오류
안녕하세요:)퀄리티 높은 강의 만들어주셔서 감사합니다! 실습을 따라하면서 제 소득세 답변과 병진님의 소득세 답변이 달라서 (금액이 다름) 왜 그런가 이유를 찾아보았는데요. 올려주신 tax_with_markdown.docx 자료에서 기존 이미지의 금액과 다른 것을 확인하였습니다. (아래 빨간색 박스) 기존 이미지의 금액으로 변경해서 다시 pinecone에 index 올린 후에 채팅을 하니까 그제서야 병진님과의 답변과 똑같아졌네요! 자료 파일 다시 한번 확인해주시면 감사하겠습니다:)
-
미해결graphRAG - Neo4J로 구현하는 지식 그래프 기반 RAG 시스템 (feat. LangChain)
neo4j의 장점
지금 영화 추천하는 강의 보고 있습니다.질문 있습니다. 일반적인 sql 쿼리를 써도 해당 내용으로 추천 내용 다 작성 할 수 있을 것 같은데 neo4j 랑 사이퍼 쿼리를 쓰는 이유는해당 데이터를 노드화 해서 연결 함으로써검색 속도가 빨라지는 장점이 있을까요? 감사합니다.
-
미해결AI 에이전트로 구현하는 RAG 시스템(w. LangGraph)
Fan-in 시 여러개 노드에서 하나로 병합되는 과정에서 질문 입니다.
Fan in 되면서 3개 노드에서 1개 노드로 병합되는 과정에서, 그 1개 노드는 3개 노드가 전부 연산을 끝낼때까지 기다린 후 실행 되는건가요??