안녕하세요 강사님 강의 잘 듣고 있습니다. 강의 내용중 좀 더 이해하고 싶은 부분이 생겨 질문드립니다. #질문 1 8분53초의 화면상의 ppt 슬라이드를 보면 행렬의 shape를 (a,m ), (m *n ), (a, n) 적어주셨는데 각각의 의미가 궁금합니다. (a,m) 은 무엇을 의미하는 행렬이며 이때 a,m각각은 무엇을 나타내는지, (m*n) 행렬은 무엇을 의미하는 행렬이며 m,n은 무엇을 나타내는지 (a,n) 행렬은 무엇을 의미하는 행렬이며 a,n은 무엇을 나타내는지. ( 제 추측으론, m은 모델의 vocabulary 사전의 개수. 또는 토큰id의 max값 같기도하고...n은 벡터의 길이 같기도하고....) #질문 2 그리고 파인 튜닝을 위해 qlora n*n 행렬이 그림상에 추가되었는데, 개념적으로 데이터가 추가되었다고는 이해되는데 실제 물리적으로는 데이터가 어떻게 추가된것인지 궁금합니다. 단순히 m*n 행렬에 n행이 추가되어 m+n, n 행렬이 되었다든지...
아래 코드, hub.pull 안되실 경우 from langchain import hub prompt = hub.pull("rlm/rag-prompt") 아래와 같이 변경해 보세요. 저는 LANGSMITH_API_KEY 를 직접 넣었지만, 환경변수에 등록해서 사용하시는게 나을것 같네요. from langsmith import Client LANGSMITH_API_KEY = "ls...." client = Client(api_key=LANGSMITH_API_KEY) prompt = client.pull_prompt("rlm/rag-prompt", include_model=True)
안녕하세요. 시간 가는줄도 모를 만큼 강의를 재밌게 들으며 배워가고 있는 수강생입니다. 강의를 듣던 중 Upstage API 연동이 잘 되지 않아 QnA 게시판을 보았는데, 저를 비롯한 많은 분들께서 Upstage API를 사용하고 있다는 것을 알게되었고 연동 관련해서 어려움을 느끼시는 것 같아 제가 해결한 과정을 같이 공유해보고자 글을 적었습니다. 저도 배워가는 과정인지라 표현이 서툴거나 잘못된 내용이 있을 수 있어 강사님의 피드백도 같이 공유 받을 수 있다면 더욱 좋을 것 같습니다..! 제가 해결한 방법을 결론 먼저 말씀드리면 chunk_list 길이를 찍었을 때 100개 이내인 경우에는 코드가 정상 동작했다는 것입니다. (대부분의 코드는 강사님께서 작성하신 내용을 그대로 따라했습니다.) # 에러 (chunk_list의 length가 100개 이상인 경우) # chunk_list = split_text(full_text, 1500) # 작동 (chunk_list의 length가 100개 미만인 경우) chunk_list = split_text(full_text, 1700) 위와 같이 split_text에서 1500으로 인자를 주었던 것을 1700으로 변경하면 chunk_list의 길이는 100개 미만이 되며, 이를 초과할 경우 400 ERROR 또는 add 작업 중 중간에 멈추며 에러가 발생했습니다. 따라서 저는 이러한 문제의 원인을 아래 내용이라고 추정하며 해결했습니다. 강의 촬영 당시 사용된 법률안에 비해 현재는 개정 등으로 인해 늘어난 문자열 수 1로 인해 인자값을 1500으로 주었을 때 강의 촬영 당시 대비 커져버린 chunk_list의 크기 2로 인해 chromaDB에 add 할 수 있는 개수가 100개 이상 초과하면 발생되는 오류 전체 코드 참고하실 분들은 아래 링크에서 참고하시면 좋을 것 같습니다. https://github.com/C0deH4ter/langchain-basics/blob/main/3.3%20Upstage%20Challenge/rag_without_langchain_chroma(w.Upstage).ipynb
추가 질문 드립니다! 현재 업무지침 원본 문서에 챗봇용 추가 정보(예: 부연설명 등)를 직접 삽입하여 feeding 하고 있습니다. 다만, 업무지침이 매년 개정되다 보니 , 개정 시마다 챗봇용으로 추가한 정보들을 새로운 버전에 다시 반영해야 하는 어려움 이 있습니다. 특히 이런 문서 관리는 개발팀이 아닌 현업에서 해야 하는 부분이라 현업 관점에서 문서 버전 관리나 갱신을 보다 효율적으로 할 수 있는 방법 이 있을지 조언을 구하고 싶습니다. 감사합니다.
안녕하세요, 질문드립니다. 사내 업무 챗봇을 만드는 과정에서 질문 드립니다. 답변의 일관성 관련 현재 챗봇 테스트 중인데, 동일한 질문임에도 답변이 조금씩 달라집니다. 서비스 운영 시에도 직원들이 한 질문에 대해 일관된 답변을 받아야 문제점을 정확히 파악할 수 있을 것 같아, 같은 질문에는 동일한(유사한) 답변이 나오도록 설정하고 싶습니다. 다만 현재 history_aware_retriever 를 사용하고 있어서, 이전 대화 맥락이 다르면 동일한 질문이라도 검색되는 문서와 답변이 달라질 수 있다는 점 을 확인했습니다. 이때 이전 대화 맥락이 있더라도 질문이 동일하면 동일한(비슷한) 문서가 검색되도록 하거나 답변의 편차를 최소화 하는 방법이 있을지 궁금합니다. RAG 검색 우선순위 관련 현재 2개 문서(A, B)에 대해서 RAG를 적용하고 있습니다. 이때 A문서에서 가장 유사한 chunk를 먼저 검색하고, 유사한 chunk가 없는 경우 B문서에서 chunk를 찾도록 하고 싶습니다. 제가 생각한 방법은 2개인데, 어떤 접근이 더 좋을지 또는 더 나은 방법 있을지 문의드립니다. 1안) 단일검색 + A문서 우선랭킹 A와 B를 동시에 검색한 후, 뽑힌 문서 중 A결과를 먼저 선택하는 방법 (k=2 예정) 후보: [A1, B1, B2, A2] → 최종: [A1, A2] 후보: [A1, B1, B2, B3] → 최종: [A1, B1] 2안) 계단식 검색 1차로 A만 검색 후 임계치 미달 시 B문서 검색하는 방식입니다. 다만 임계치를 결정하는 것이 어려울 것 같고, langchain 만으로 구현이 가능할지 모르겠습니다. langgraph를 사용하면 쉽게 할 수 있는 방법이 있을까요? 감사합니다!
학습 관련 질문이 있으시면, 상세하게 남겨주세요. 문제가 발생한 부분의 코드를 함께 올려주세요. 수업 영상 몇 분/초 구간인지 알려주세요. 10분 56초 부분에서 prompt 작성코드를 보면 text형식으로 작성되어있고 ChatPromptTemplate을 사용하고 있는데 지난 강의에서는 ChatPromptTemplate 은 message list형식으로 작성한다고 하셨었습니다. ChatPromptTemplate은 그냥 PromptTemplate과 달리 from_template을 사용하면 일반 text 형식 prompt도 처리가 가능한 구조인건가요? 그런거라면 굳이 PromptTemplate을 사용해야하는 이유가 있나요? ChatModel 이 아니라 LLM 일 경우는 ChatPromptTemplate.from_template으로 작성한 prompt는 동작하지 않는 건가요? RAG는 LLM이 아니라 ChatModel을 사용해야하는 이유가 뭔가요? LLM과 ChatModel의 차이를 multi-turn 처리 가능 여부로 보면 될까요?
안녕하십니까! 강병진 강사님! 강의를 수강하고 인터뷰도 보면서 많은 에너지와 영향을 받았습니다. 정말 감사드립니다! 강병진님의 langchain강의 커리큘럼에서 n8n을 제외하고 모두 수강하였습니다. 덕분에 RAG를 어떻게 구성하고 어떤식으로 정확도를 향상시킬 수 있는지도 배웠습니다. 다름이 아니라 저는 현재 대학교 3학년으로써 프로젝트를 진행하고 싶은데 강병진님 같은 훌륭하신 선배 개발자님께서 좋게 보실 만한 프로젝트가 어떤 프로젝트인지 조언을 구하고 싶습니다. 단순 챗봇을 구현해보기에는 기업에서 이러한 것이 많이 중요할까? 라는 걱정도 있습니다. 기업에서는 어떤식으로 RAG를 사용하고 원하는 경험이 무엇일까 궁금합니다. 저는 실무에서 RAG를 어떤식으로 사용하는지도 잘 모르고 선배님들께서 이러한 기술로 어떤 업무들을 하시는지도 잘 모릅니다. 그래서 어떤 방향성으로 준비해야 할지 잘 모르겠습니다. 만약 강병진님께서 같이 일할 주니어를 뽑으신다면 어떤 프로젝트 경험이 있는 주니어를 뽑으실 지 가능하신다면 조언 한번만 부탁드리고 싶습니다! 현재 사용할 수 있는 기술은 알려주신 langchain관련 기술과 fastapi로 백엔드 구현이 가능합니다. 도메인마다 원하는 방향성이 다르겠지만 프로젝트 기획하는 단계로써 좋은 출발을 하고 싶어서 질문드립니다! 계신 시간대로 저녁일거라 예상되는데 좋은 저녁 보내시길 바랍니다ㅎㅎ 감사합니다!
안녕하세요. 세션 관련으로 문제가 있는게 아닌가 해서 질문드립니다. store = {} # ❌ 전역 변수 - 모든 사용자 공유 def get_ai_response(user_message): # ... config={ "configurable": {"session_id": "abc123"} # ❌ 고정된 ID } ❌ 모든 사용자가 "abc123" 세션 공유 ❌ 사용자 A, B, C의 대화 맥락이 섞임 ❌ 실제 배포하면 문제 발생 해결 방법으로 동적인 세션 ID를 부여하는 것을 클로드는 추천을 해주던데 클로드 말대로 해볼까요?
안녕하십니까 강사님! 다름이 아니라 현재 같은 mac환경의 vscode사용중인데 아무리 검색하고 찾아봐도 강사님처럼 파라미터 힌트 적용하는 법을 모르겠어서 질문드립니다. 함수 커서대면 파라미터 힌트 나오게끔 어떻게 설정할까요? 강의랑 관련 없는 질문 같아서 죄송스러운데 검색하고 gpt쓰고 하란대로 해봐도 안떠서 질문드립니다! 번거로우시다면 키워드라도 주시면 그걸로 찾아보겠습니다!
안녕하세요! 현재 3.6강까지 수강하였습니다. 저는 llm 모델은 ollama의 exaone을 사용했고 임베딩 모델은 HuggingFaceEmbeddings 모델을 사용했습니다. Pinecone 콘솔로 들어온 데이터를 보고 있는데, 사진처럼 같은 게 2개씩 들어갔더라구요. 질문도 최대한 맞춰보려고 "거주자의 종합소득이 5천만원일 때 소득세는 얼마인가요?" 라고 하였는데 ''제공된 문서들은 주로 다양한 유형의 소득과 관련된 조세 규정에 대해 설명하고 있지만, 특정 종합소득세율 테이블이나 5천만 원 소득에 대한 정확한 세액 계산 정보는 포함하고 있지 않습니다" 이런식으로 답변이 나왔습니다. 이것은 단지 llm모델과 임베딩 모델에서 생긴 문제인 걸까요? 여기서 어떻게 더 해야할지 모르겠어서 질문남깁니다. 감사합니다.!
수업 중에서는 langchain==0.3.3 버전을 사용하셨는데 제가 지금 수강하고 있는 시점에서는 1.0.3 버전이 나와서 1.0.3 버전으로 설치했습니다. No module named 'langchain.chains' RetrievalQA(create_retrieval_chain)를 임포트하려고 langchain.chains를 가져오려고 했는데, ModuleNotFoundError가 뜹니다. 현재 버전에서는 사라진 것 같습니다. 다른 방법을 추천하시는지 아니면 0.3.3으로 다운그레이드해서 공부해야하는지 궁금합니다..! 감사합니다
%pip install -U langchain langchainhub --quiet from langchain import hub prompt = hub.pull("rlm/rag-prompt") 안녕하세요! 강의에서처럼 hub를 임포트 하기 위해서 이렇게 했는데, 아래와 같은 에러가 뜹니다. --------------------------------------------------------------------------- ImportError Traceback (most recent call last) Cell In[47], line 1 ----> 1 from langchain import hub 3 prompt = hub.pull("rlm/rag-prompt") ImportError: cannot import name 'hub' from 'langchain' (/home/Dev/llm-app/llm-app/lib/python3.10/site-packages/langchain/__init__.py) from langchainhub import hub로도 해보았는데 안되고 검색해도 잘 안나와서 질문 남깁니다ㅠㅠ
안녕하세요 제가 이 강의를 듣기 전에 '한 시간으로 끝내는 LangChain 기본기'를 수강했습니다. 거기서는 올라마를 사용할 때 from langchain_ollama import ChatOllama llm = ChatOllama(model="") langchain_ollama에서 가져왔는데 이번 강의에서는 from langchain_community.chat_models import ChatOllama llm = ChatOllama(model="") langchain_community에서 가져오셨더라구요. 둘의 차이가 있나요? 차이가 없다면 둘 중 어느 쪽으로 하면 좋을까요?
gemma 2b 모델 runpod 클라우드 사용하지 않고도 로컬 runpod 을 띄워서 구동이 가능할거 같은데 가능할까요? 클라우드 비용을 지불 하고 찾아보니 16GB 정도면 넉넉하다고 하네요ㅠ https://merlio.app/blog/run-google-gemma-2b-locally runpod 기본 크레딧 충전이 10달러인데 간단한 처음 입문하는 분들 입장에서는 실습으로 쓰기에 부담이 좀 될거 같습니다.
