안녕하세요. 유익한 콘텐츠 만들어주셔서 흥미롭게 강의를 듣고 있습니다. 이번 강의에서 질문드릴게 있어요.'Gradio ChatInterface로 PDF 챗봇 애플리케이션 구현' 마지막에 논문의 저자(attention all you need 논문)는 몇 명이냐?는 질문에 대한 답이 10명으로 나옵니다. 저도 똑같이 구현하고 chunk size, chuck overlap, temperature를 조절하면서 물어봐도 제대로 된 답변(정답은 8명)을 못하더라고요.그런데 똑같은 모델(gpt-4o-mini)을 Chatgpt 웹상에서 pdf 파일을 업로드 하고 몇 명이냐고 물어보면 정확하게 답변을 합니다.어떤 부분에서 문제가 되길래 이번 프로젝트에서 논문의 저자가 몇 명이냐는 질문에 제대로 된 대답을 못하는 걸까요?

파이썬을 따로 설치해서 실습해야하나요?

강의를 따라서 만들어 봤는데요..ㅠㅠ이전 질문한 항목의 답변이 남질 않는데 어떻게 해야할까요?여러가지 시도해보다가 강사님 코드로 붙여넣기해서 다시 한번 돌려봤는데도 문제가 동일하게 발생합니다.. 

강의 전반을 개인 데스크탑에 도커를 설치하여 Ollama에 한국어로 파인튜닝된 llama3.2 모델을 사용하였었습니다.streamlit으로 만든 프로젝트도 문제없이 돌아갔었는데,Langsmith에서 Evaluator로 해당 모델을 설정하니 아래와 같은 에러가 나옵니다.langsmith에서는 ollama 모델로 평가를 할 수 없는건가요?ollama._types.ResponseError: llama3.2-ko does not support tools Error running evaluator <DynamicRunEvaluator answer_hallucination_evaluator> on run 38c51823-def2-4eb1-8347-c019874622eb: KeyError('contexts') Traceback (most recent call last): File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\evaluation\_runner.py", line 1573, in _run_evaluators evaluator_response = evaluator.evaluate_run( ^^^^^^^^^^^^^^^^^^^^^^^ File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\evaluation\evaluator.py", line 331, in evaluate_run result = self.func( ^^^^^^^^^^ File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\run_helpers.py", line 617, in wrapper raise e File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\run_helpers.py", line 614, in wrapper function_result = run_container["context"].run(func, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\user\AppData\Local\Temp\ipykernel_10064\4107259675.py", line 12, in answer_hallucination_evaluator contexts = run.outputs["contexts"] ~~~~~~~~~~~^^^^^^^^^^^^ KeyError: 'contexts' Error running evaluator <DynamicRunEvaluator answer_evaluator> on run 4a5e6612-1a97-4efc-9da4-ee0b4f113b70: ResponseError('llama3.2-ko does not support tools') # Prompt # hallucination 판단을 위한 프롬프트 grade_prompt_hallucinations = prompt = hub.pull("langchain-ai/rag-answer-hallucination") def answer_hallucination_evaluator(run, example) -> dict: """ hallucination 판단을 위한 Evaluator """ # 데이터셋에 있는 질문과, LLM이 답변을 생성할 때 사용한 context를 활용 input_question = example.inputs["input_question"] contexts = run.outputs["contexts"] # LLM의 답변 prediction = run.outputs["answer"] # LLM Judge로 사용될 LLM llm = ChatOllama( model="llama3.2-ko", base_url=os.getenv("LLM_BASE_URL"), temperature=0 ) # LLM 응답을 위한 LCEL 활용 # 3.6 `dictionary_chain`의 `prompt | llm | StrOutputParser()`` 의 구조와 유사함 answer_grader = grade_prompt_hallucinations | llm # Evaluator 실행 score = answer_grader.invoke({"documents": contexts, "student_answer": prediction}) score = score["Score"] return {"key": "answer_hallucination", "score": score}코드는 llm 부분만 ChatOllama를 사용하고 나머지 부분은 모두 동일합니다

안녕하세요. 코랩에 뉴스 기사만 검색하려면 아래 코드를 실행하면 된다고 말씀 주셨는데요.뉴스 외에 backend 또는 source로 설정 가능한 인자 값에는 어떤 것이 있나요?독스를 찾아보아도 다른 값은 찾을 수 없어 질문 드립니다. 감사합니다.search = DuckDuckGoSearchResults(backend="news")

지금 fine tuning 단계에서 어떤 데이터셋을 기존의 Llama에 학습을 추가로 시켜서 정보를 더 추가하는 방법 부분을 학습하고 있습니다.혹시 이 반대와 같은 경우가 가능할까요? 예를들어서 Llama모델에서 한국어로 이루어진 모든 데이터를 전부 제거한다. 이런식의 define tuning이 되는 방법이 있는지 궁금합니다.

이전에 했던 langchain 코드를 chat.py에 붙여 넣는데, 조금 따라가기가 어려운것 같습니다.. 혹시 코드 공유가 가능하실까요? 

다른분 질문 답변에 링크로 올려주셨는데 오류가 나타나 다시 재 업로드 요청드립니다

안녕하세요. Llama 관련 강의 듣는 중 궁금한 점이 있어 문의 드립니다. 우선 강의 내용과 같이 Llama 3.1-8B 모델과 DDG 혹은 Tavily와 연동하여 오징어 게임 출시일에 대한 답변을 확인하였는데요. LangSmith 상으로는 DDG에서 Search 내용은 잘 가져오지만 Llama에서 답변을 완성할 때 아래와 같은 문구가 나오더라고요. 해당 이유와 관련해서는 특별하게 취해야 하는 조치가 있는 것일까요?    그리고, 다른 Llama 모델을 사용하여 tool에 연동해보려고 했는데요. (EEVE-Korean-10.8B) invoke 시 에러가 나면서 tool에 연동할 수 없다고 나오더라고요. 혹시 tool에 연동은 llama 공식 모델만 가능한 것일까요? 감사합니다.

아무래도 유료 서비스가 편리하겠지만 적당하게 무료로 사용할 수 있을만한 오픈소스가 있나요??

아래 코드 실행시 오류가 나서 진행을 할수 없습니다, from langchain.smith import RunEvalConfig eval_config = RunEvalConfig( custom_evaluators=[exact_match], )

안녕하세요. 강의자료 다운로드를 받는데 압축폴더 내 파일이 없는 채로 다운이 됩니다. 강의자료를 어떻게 받아볼 수 있을까요?확인 부탁드립니다.감사합니다.

from langchain_pinecone import PineconeVectorStore를 실행하면ImportError: cannot import name 'PineconeVectorStore' from partially initialized module 'langchain_pinecone' (most likely due to a circular import) 라는 에러가 뜨면서 뭘 해도 안됩니다.어떻게 해야 해결 가능할까요?? 아직까진 인터넷에 정보가 많이 없네요.. chat GPT 도 해결을 못해주고요 .. 하도 답답해서 여기 문의 드립니다. 임포트한 패키지들 :__import__('pysqlite3') import sys sys.modules['sqlite3'] = sys.modules.pop('pysqlite3') from dotenv import load_dotenv from langchain_upstage import UpstageEmbeddings from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_pinecone import PineconeVectorStore파이썬 버전3.10.15

안녕하세요. 강의 잘 듣고 있습니다. 듣던 차에 궁금한 부분이 있어 질문 남깁니다. (현재 섹션3 강의는 다 들은 상태입니다.)저는 NLP나 RAG 관련해서 전공 공부한 적이 없고 모르는 개념은 강의를 들으면서 그때그때 검색해서 공부하고 있습니다!  저희 질문이 "연봉 5천만원인 직장인의 소득세는?" 인데, 질문을 할 때마다 답변이 다르게 나오는 건 알겠지만1400초과 ~ 5000만원 이하 과세표준으로 계산함1의 과세표준으로 계산했지만 계산 결과가 틀림1의 과세표준으로 계산했고 계산 결과가 맞지만 후에 부가적으로 기본공제, 지방소득세 등 이상한 내용이 들어가서 결과적인 직장인의 소득세가 매우 상이하게 나옴5000초과~ 8800만원 이하 과세표준으로 계산등 여러번 돌려보니까 다양한 결과가 나오더라구요. (LLM이니깐 매번 돌릴 때마다 결과가 다른 건 알고 있습니다!)현재 query 수정 (회사원 -> 거주자), markdown으로 표 수정은 이미 다 한 상태입니다.LLM은 외부 API를 (저는 Upstage로 하고 있습니다) 사용하기 때문에 LLM은 아예 저의 소관이 아니라고 생각하고, 저는 최대한 잘 자르고 유사도 검색을 잘 해서 prompt를 잘 쓰는 것까지 저의 일이라고 생각합니다. 아무튼 이러한 경우에는 제가 양질의 답변을 얻기 위해서는 추가적으로 어떤 걸 해야할까요? ㅠㅠ제가 생각했을 땐초과, 이하의 개념을 프롬포트로 제공한다retriever_docs를 검색할 때 추가적인 정보가 많이 제공되지 않게끔 k를 조절한다. 정도 생각하고 있습니다! 

안녕하세요실습하다 소설 스크립트 넣는 부분 듣는데 혹시 강의 자료에서 PPT 외에 프롬프트 실습 스크립트는 없나요?

   몇 시간 동안 GPT, Claude랑 싸웠는데(?) 도저히 해결이 안 되네요.. 파이썬 버전도 낮춰보고 이것저것 지웠다깔았다 해봤는데 여기서 며칠 째 막혀있습니다..ㅠㅠchapter3에서도 pinecone 설치 오류가 계속 나서 겨우 고쳤는데 pinecone에 트라우마 생길 것 같아요 ^^참고하시라고 chapter3에서 혼자서 고쳐본 부분도 같이 올려드립니다.  -> 기존 강사님 코드를 제 컴퓨터에서 실행하면 나오는 결과입니다.-> 이렇게 바꾸니 오류는 안 나지만 왠지 엄청 오래 걸립니다. 가능하시면 이 부분의 문제도 같이 봐주시면 감사하겠습니다. 

Lora 기법으로 인해서 전체 모델의 56%의 파라미터만 fine tuning에 사용됐다고 하는데, 로직 내에서 fine tuning하겠다고 결정하는 기준이 있는건가요?

section 5 의 코드 중 crewai 의 Agent 선언에서 오류 발생합니다.search_tool = TavilySearchResults() researcher = Agent( role="Market Researcher", goal=f"Uncover emerging trends and investment opportunities in the cryptocurrency market in 2024. Focus on the topic: {topic}.", backstory="Identify groundbreaking trends and actionable insights.", verbose=True, tools=[search_tool], -> 이 부분 오류 발생 allow_delegation=False, llm=llm, max_iter=3, max_rpm=10, ) pydantic_core._pydantic_core.ValidationError: 1 validation error for Agent tools Value error, Invalid tool type: <class 'langchain_community.tools.tavily_search.tool.TavilySearchResults'>. Tool must be an instance of BaseTool or an object with 'name', 'func', and 'description' attributes. [type=value_error, input_value=[TavilySearchResults(api_...cretStr('**********')))], input_type=list] For further information visit https://errors.pydantic.dev/2.10/v/value_errorcrewai 및 langchain 버전은 아래와 같습니다.crewai 0.86.0crewai-tools 0.17.0langchain 0.3.10langchain-community 0.3.10

강의에 사용된 소스코드는 어디에 있는지 문의드립니다.PDF파일은 있지만, 예제 풀이에 사용되는 colab에서 동작시키는 소스코드를 다운 받을 위치를 가르쳐 주셨으면 합니다.

streamlit 프로젝트에는 tax.docx 파일이 필요없는 이유가.. 파인콘을 사용하기 때문인가요. 궁금합니다..