강의 전반을 개인 데스크탑에 도커를 설치하여 Ollama에 한국어로 파인튜닝된 llama3.2 모델을 사용하였었습니다. streamlit으로 만든 프로젝트도 문제없이 돌아갔었는데, Langsmith에서 Evaluator로 해당 모델을 설정하니 아래와 같은 에러가 나옵니다. langsmith에서는 ollama 모델로 평가를 할 수 없는건가요? ollama._types.ResponseError: llama3.2-ko does not support tools Error running evaluator <DynamicRunEvaluator answer_hallucination_evaluator> on run 38c51823-def2-4eb1-8347-c019874622eb: KeyError('contexts') Traceback (most recent call last): File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\evaluation\_runner.py", line 1573, in _run_evaluators evaluator_response = evaluator.evaluate_run( ^^^^^^^^^^^^^^^^^^^^^^^ File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\evaluation\evaluator.py", line 331, in evaluate_run result = self.func( ^^^^^^^^^^ File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\run_helpers.py", line 617, in wrapper raise e File "E:\PythonProject\rag_streamlit\.venv\Lib\site-packages\langsmith\run_helpers.py", line 614, in wrapper function_result = run_container["context"].run(func, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\user\AppData\Local\Temp\ipykernel_10064\4107259675.py", line 12, in answer_hallucination_evaluator contexts = run.outputs["contexts"] ~~~~~~~~~~~^^^^^^^^^^^^ KeyError: 'contexts' Error running evaluator <DynamicRunEvaluator answer_evaluator> on run 4a5e6612-1a97-4efc-9da4-ee0b4f113b70: ResponseError('llama3.2-ko does not support tools') # Prompt # hallucination 판단을 위한 프롬프트 grade_prompt_hallucinations = prompt = hub.pull("langchain-ai/rag-answer-hallucination") def answer_hallucination_evaluator(run, example) -> dict: """ hallucination 판단을 위한 Evaluator """ # 데이터셋에 있는 질문과, LLM이 답변을 생성할 때 사용한 context를 활용 input_question = example.inputs["input_question"] contexts = run.outputs["contexts"] # LLM의 답변 prediction = run.outputs["answer"] # LLM Judge로 사용될 LLM llm = ChatOllama( model="llama3.2-ko", base_url=os.getenv("LLM_BASE_URL"), temperature=0 ) # LLM 응답을 위한 LCEL 활용 # 3.6 `dictionary_chain`의 `prompt | llm | StrOutputParser()`` 의 구조와 유사함 answer_grader = grade_prompt_hallucinations | llm # Evaluator 실행 score = answer_grader.invoke({"documents": contexts, "student_answer": prediction}) score = score["Score"] return {"key": "answer_hallucination", "score": score} 코드는 llm 부분만 ChatOllama를 사용하고 나머지 부분은 모두 동일합니다
해당 강의에 10분 쯤을 보면 선생님께서 다음과 같이 예시를 들어주셨습니다. 부산지사의 철수(ip 3.3.3.10)이 서울지사의 DB서버(5.5.5.100)으로 패킷을 보내면 IP 패킷이 다음과 같다. IP 출발지 : 3.3.3.10 도착지 5.5.5.100 여기서 궁금한 것은 DB서버의 5.5.5.100은 private한 주소일텐데 어떻게 해당 ip주소로 도착지 ip 주소 헤더가 설정될 수 있는지가 궁금합니다. 제 생각에는 다음 두 가지 경우 중 하나가 아닐까 싶은데 맞다면 어떤 것인지 아니라면 어떻게 되는지 가르쳐 주실 수 있을까요? ISAKMP를 이용하여 터널링 하는 과정에 서울지사와 부산지사의 private network가 하나로 통합되기 때문이다. 원래는 NAT 과정이 있으나 이해하기 쉽도록 돕기위해 다음과 같은 과정이 생략된 것이다.
[질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예) [질문 내용] 이번 강의 초반에 강사님께서 말씀해주셨던 것에서, 서블릿 컨테이너는 예외가 들어왔을 때 기본적으로 500 에러를 내뱉도록 시스템화되어 있다고 말씀하신는 것처럼 들리는데, 그럼, 서버에서 400번대 에러코드를 내뱉는 것은, 예외처리 리졸버나 그외 다른 예외 처리 로직 등에서 400번대로 변환했기 때문이라고 이해하면 될까요? 즉, Default는 500이고, 처리 여부에 따라 400번대 가능
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part7: MMO 컨텐츠 구현 (Unity + C# 서버 연동 기초)
강의를 들으면서 응용하면서 저만의 프로젝트를 만들고 있습니다. 우선 저는 3d게임에서 이동 동기화를 진행중입니다. 패킷은 이렇게 만들었습니다. 보내는부분 MoveDir을 세팅하는부분에서 이런 오류가 나와요.. ㅜㅜ 브레이크포인트를 찍고 호출스택을봐도 엉뚱한데서 크래시가 나고 있어서 어떤문제인지 도저히 감이 안잡힙니다. 구글에 검색해도 정보가 없고, GPT도 정확한 답변이 없어요... 혹시 제가 뭔가 놓친게 있는걸까요..?
안녕하세요. 강의에서 k6를 실행하기 위해 30명의 가상유저가 10초동안 요청을 무한히 보내도록 설정하셨습니다. 그 결과 http_reqs 값이 1.66/s 가 나왔습니다. 이 값은 시스템의 대역폭 max값으로 이해해도 되나요? 30명, 10초 설정값이 아니더라도 100명, 10초 설정값으로 진행해도 1.66/s 에 근사한 값이 나와야하는지 궁금합니다. (시스템이 처리할 수 있는 능력 의 Maximum은 항상 일정해야하지 않을까 라는 생각에 질문드립니다.)
안녕하세요. 51:50 부분에 "FName 을 반복문 안에 선언하는건 여러번 전역pool 에서 조사하기 때문에 오버헤드가 발생한다. 그래서 const static FName StaticOnlyOnce(TEXT("pelvis")); 를 써서 한번만 조사하도록 하는게 좋다" 이런식으로 이해했는데요, 근데 const static 이 반복문 외부에 선언되어야 하는거죠? 예시처럼 for문 안에 있는게 아니라?
servlet-context.xml, root-context.xml 아무리 쳐다봐도 web.xml에서 servlet-context.xml 경로 잘못 불러오면(제 경우에는 이랬음) controller가 service클래스를 의존성 주입을 못 해주더라고요. web.xml의 설정이 어떤 영향을 미치는지도 잘 학습해두면 좋습니다!
[질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예) [질문 내용] 안녕하세요. 강사님께서 for 문에서 i < studentCount; 를 사용하셨는데, studentCount 대신에 scores.length를 사용해도 같은 답이 나옵니다. 마찬가지로 j < 3; 에서 3 대신에 scores[i].length 나 subjects.length를 사용해도 같은 답이 나옵니다. 혹시 코드가 똑같이 실행되더라도 studentCount 를 사용하시는 이유가 있는건가요? 어떤 것을 사용해야 가장 좋은지를 어떻게 판단할 수 있는지 알려주시면 감사하겠습니다.
모두를 위한 대규모 언어 모델 LLM Part 5 - LangGraph로 나만의 AI 에이전트 만들기
안녕하세요. 코랩에 뉴스 기사만 검색하려면 아래 코드를 실행하면 된다고 말씀 주셨는데요. 뉴스 외에 backend 또는 source로 설정 가능한 인자 값에는 어떤 것이 있나요? 독스를 찾아보아도 다른 값은 찾을 수 없어 질문 드립니다. 감사합니다. search = DuckDuckGoSearchResults(backend="news")
안녕하세요. 시스템 설계 : OEM의 영역에서 전체적인 차량의 기능 설계와 이후 ECU Mapping, 토폴로지 등을 AUTOSAR툴(VECTOR 툴, EB툴 등)에서 해당 기능을 사용 할 수 있는 기능들이 있나요? autosar툴(swc, bsw 개발 툴)은 단순히 개발을 할 수 있는 툴 같은데,,, 혹시 autosar툴에서 없다면, 다른 툴을 사용하는건가요??? 감사합니다.
안녕하세요. MCAL 툴은 일반적으로 EB 툴을 사용한다고 이해했습니다. 만약 BSW 툴을 VECTOR를 사용하고, MCAL툴은 EB툴을 사용한다고 가정하면 기존 ASW툴 처럼 설정 후 ARXML을 BSW툴에 IMPORT하는 것처럼, MCAL툴(EB) 설정을 한 이후 BSW툴(VECTOR)에 IMPORT하는 작업 같은게 있나요? 어떻게 설정을 해줘야하는건가요?
