주어진 메세지를 학습할 때 20 개의 데이터를 학습시키는데 이미 엄청난 양의 데이터가 학습이 되어 있는데 이런 자아(system)이 반영될 수 있는건가요?

Llama2 Fine-Tuning 예제를 보며 meta-llama/Llama-3.1-8BLlama-3.1을 파인튜닝을 하였습니다.파인튜닝한 모델과 Llama-3.1을 병합하여 파인튜닝된 데이터를 물어보니 어느 정도 대답을 잘 하였습니다.하지만 파인튜닝된 이외의 질문을 해봤더니 계속해서 파인튜닝된 데이터만 출력해 주고 있습니다. 예를 들어지구에 대해서 설명해줘라고 했지만 지구와 전혀 상관없는 파인튜닝된 데이터를 출력합니다. 기존 모델의 문제인가 확인하기 위해 파인튜닝과 병합안한 기본 Llama-3.1모델에게 질문하면 지구에 대한 설명을 아주 잘해주고 있습니다. 기본 모델과 파인튜닝한 모델을 병합하면 파인튜닝한 모델 데이터에서만 결과 값을 도출하는지 궁금합니다.

안녕하세요 강사님. 🙂  질문 내용3.3 강의를 듣던 중 chatGPT 말고 upstage로 구성하는 방법은 없을까? 하고 스스로 방법을 찾아봤습니다. https://github.com/openai/tiktoken/blob/main/tiktoken/model.py 현재 tiktoken에서 제공되는 model 중 upstage의 solar 모델이 없는 것 같습니다. upstage 로 RAG를 구성하는 방법도 배울 수 있을까요..?

안녕하세요. 지금 Chroma.from_documents(documents=document_list, embedding=embedding) 이 부분에서 에러가 나서 질문 드립니다. 개발 환경은 vscode에서 jupyter notebook 가상환경 만들어서 사용 중입니다. 사내에서 공부 중이라 drm으로 인해 txt 파일로 변경을 했고, ollama를 사용해서 embedding model을 생성했습니다. mxbai-embed-large 이 모델을 사용했고요. 일단 소요 시간이 너무 오래 걸립니다. 그리고 1시간이 넘어가고는 canceled future for execute_request message before replies were done 이 에러가 뜨더라고요. 그래서 python으로 작성을 했더니 2시간 정도 걸리니까 생성은 되더라고요. 이건 좀 아닌 거 같아서 질문 드립니다. 혹시 왜 이런지 아실까요?

작성해주신 코드를 볼 수 있는 곳이 있을까요? 대화 기록을 남기는 법, 채이닝을 이용하는 법을 코드를 보면서 따라가고 싶습니다

다른 모델들에 대한 성능을 어떤 방법으로 비교 하였나요?

강사님 강의 잘 듣고 있습니다. 강사님 강의 4개째 입니다.Airline Red Teaming Korean 를 랭스미스에서 클론할 때 권한 오류(401)가 발생합니다. 물론 재 API 설정도 다 했고, 랭스미스도 설정한 상태에서 에러가 발생합니다.답변 부탁드립니다. 

2.3 강의에서 generate 이후 스코어를 통해 rewrite를할지 end를 할지 판단할때, 쿼리 자체에서 document와 관련이 없는 질문을 했을때 무한으로 rewrite에 빠질 경우 어떻게 대처하면 될까요?

멀티체인 부분에서 chain1의 답변이.. 길게 나옵니다.한 단어로 'future'라는 답변이 나와야 사실 chain2에 english_word라는 변수에 알맞는 값이 들어가는 걸텐데요. 문장으로 답이 나와서 이상한 상황입니다.무슨 문제가 있어서 이렇게 invoke 결과값이 달라지는지 제가 뭘잘못했는지 모르겠습니다.제 잘못이 아니라면 이게 무엇 때문인지, 어떻게 해결할 수 있을지 궁금합니다. (chain2도 답변을 영어로 하는 문제도 있습니다.)     

안녕하세요 강사님 🙂 저는, 이번 강의를 통해 ipynb로 처음 실습을 해봅니다.실습 중 처음부터 막히는 부분이 발생해서 질문을 남깁니다. 실습환경Mac OSPython 3.13pyenv virtualenv 작성한 코드%pip install langchain-upstage python-dotenv발생한 오류Collecting langchain-upstage Using cached langchain_upstage-0.6.0-py3-none-any.whl.metadata (3.3 kB) Requirement already satisfied: python-dotenv in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (1.0.1) Requirement already satisfied: langchain-core<0.4.0,>=0.3.29 in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (from langchain-upstage) (0.3.34) Requirement already satisfied: langchain-openai<0.4,>=0.3 in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (from langchain-upstage) (0.3.4) Collecting pypdf<5.0.0,>=4.2.0 (from langchain-upstage) Using cached pypdf-4.3.1-py3-none-any.whl.metadata (7.4 kB) Requirement already satisfied: requests<3.0.0,>=2.31.0 in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (from langchain-upstage) (2.32.3) Collecting tokenizers<0.20.0,>=0.19.1 (from langchain-upstage) Using cached tokenizers-0.19.1.tar.gz (321 kB) Installing build dependencies ... Getting requirements to build wheel ... Preparing metadata (pyproject.toml) ... error: subprocess-exited-with-error × Preparing metadata (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [6 lines of output] Checking for Rust toolchain.... Cargo, the Rust package manager, is not installed or is not on PATH. This package requires Rust and Cargo to compile extensions. Install it through the system's package manager or via https://rustup.rs/ [end of output] ... note: This is an issue with the package mentioned above, not pip. hint: See above for details. Note: you may need to restart the kernel to use updated packages. Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...문제 해결제가 영어를 못해서 claude한테 질문해보니까, Rust와 Cargo가 설치되어 있지 않다고 하더군요.curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh source "$HOME/.cargo/env"해당 명령어로 rust를 설치 한 뒤, 수행하면 될거라고 하는데... 너무 번거로워서 다른 방법으로 빌드된 버전을 미리 설치하도록 수행했습니다.%pip install --only-binary :all: langchain-upstage python-dotenv궁금한 점langchain-openai를 설치할 때는 문제가 없던데, 왜 langchain-upstage는 이런 문제가 발생하나요..? 

[Advanced Prompt Technique: Thought Generation - Theory] 18:26 ~ 21:29 간 음성이 누락되어 있습니다.

현재 개인정보 배우미 챗봇을 다 만들고 테스트 중에 있습니다.문서는 총 78개를 넣었고, 문서에서 관련 내용을 잘 찾아서 응답하고 있는데, 실제 문서와 응답을 대조해서 1차로 사람이 확인하는 방법 이외에 langsmith와 같이 성능을 측정하기 위한 플랫폼이 있는지 궁금 합니다. langsmith의 경우 챗봇 속도를 확인하고 각 항목당 어떻게 처리하는지 확인이 가능하나,  질문에 대한 정확도나 유사도를 보기 쉽게 확인하기는 조금 부족한것 같더라구요.. huggingface의 evaluate를 써봤으나, 단어, 구문 구조가 다르면 0점으로 평가될 가능성이 높아 적합하지 않아보입니다.. 혹 추천해주실 만한 플랫폼이 있으실까요?

다른 분도 마찬가지로 질문 남겨주셨는데 hub,pull 시에 에러가 발생합니다.정책이 바뀐 것 같다는 답변을 보고, langSmith 에서 카드를 등록하고 'Developer' Plan 을 선택도 했고, API KEY 도 발급 후.env 파일에 아래와 같이 설정해도 에러가 발생합니다.LANGCHAIN_TRACING_V2=true LANGCHAIN_API_KEY=<API_KEY> Failed to get info from https://api.smith.langchain.com: LangSmithConnectionError('Connection error caused failure to GET /info in LangSmith API. Please confirm your internet connection. SSLError(MaxRetryError("HTTPSConnectionPool(host=\'api.smith.langchain.com\', port=443): Max retries exceeded with url: /info (Caused by SSLError(SSLCertVerificationError(1, \'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1007)\')))"))\nContent-Length: None\nAPI Key: lsv2_********************************************06') window 환경이고 local 환경에서 구동 중이라 별도 방화벽은 설정이 되어있지 않았는데 해결 방안 공유 부탁드립니다.

혹시 다른 방법으로 prompt를 생성할 방법이 있을까요?

위와 같이 poetry env 가 보이지 않는데 어떻게 해결해야 할까요??

안녕하세요, 선생님.번역 시스템 구조에 대해 여쭙고 싶습니다. 제가 구현하고자 하는 시스템은 다음과 같습니다특정 문장에 대해 파인튜닝 된 번역 모델로 1차 번역을 수행합니다. (이 단계는 필수입니다.)번역된 결과에 대해 더 큰 모델을 사용하여, 특정 조건 하에 문맥에 맞게 번역이 잘 되었는지를 검증하려고 합니다.이 시스템에서 최적의 구조와 전략에 대해 조언을 구하고 싶습니다. 조언 주시면 감사하겠습니다!감사합니다. 😊

외부에 오픈할 토이프로젝트를 진행하려고 무료 API를 찾다보니,Amazon Lex 모델이 1년간 매일 일정량을 무료로 제공하고 있더라구요. AI를 처음 사용해보는거라 OPEN AI 처럼 강의 예시인 소득세법 챗봇을 구현하는게 가능한 모델인지 모르겠어서 강사님 의견을 여쭤보고싶습니다!

안녕하세요. 강의 내용 따라하다가 아래 에러가 발생해서 공유드립니다.전체 소스코드는 글 맨 아래에 링크로 첨부했습니다. 위 코드를 실행했을 때, 결과가 잘 나올때도 있지만 종종 에러가 발생합니다. 에러 내용에 따르면 check_doc_relevance 함수에서 response에 아무것도 안담겨있어서 발생했다고 나오네요. 왜인지는 모르겠지만, 문서 관련성 판단 LLM이 작동하지 않은걸로 보입니다.그래서 저는 아래와 같이 response 에 아무것도 안담겨있다면 rewrite를 반환해서 노드를 다시 실행시키도록 했습니다.def check_doc_relevance(state: AgentState) -> Literal['generate', 'rewrite']: """ 주어진 state를 기반으로 문서의 관련성을 판단합니다. Args: state (AgentState): 사용자의 질문과 문맥을 포함한 에이전트의 현재 state. Returns: Literal['generate', 'rewrite']: 문서가 관련성이 높으면 'generate', 그렇지 않으면 'rewrite'를 반환합니다. """ query = state['query'] # state에서 사용자의 질문을 추출합니다. context = state['context'] # state에서 문맥을 추출합니다. # 문서 관련성 판단 체인을 구성합니다. doc_relevance_chain = doc_relevance_prompt | llm # 질문과 문맥을 사용하여 문서의 관련성을 판단합니다. response = doc_relevance_chain.invoke({'question': query, 'documents': context}) # ==================================== # 응답이 없는 경우에는 로그를 출력하고 'rewrite'를 반환합니다. if not response: print("No Response!!!") return 'rewrite' # ==================================== # 관련성이 높으면 'generate'를 반환하고, 그렇지 않으면 'rewrite'를 반환합니다. if response['Score'] == 1: return 'generate' return 'rewrite'위 코드 수행 결과:check_doc_relevance 가 두 번 다시 실행되어서 원하는 결과가 나왔습니다. 참고로 저는 강의에 쓰인 OpenAI 대신 UpstageAI 모델을 사용하고 있습니다.from langchain_upstage import ChatUpstage llm = ChatUpstage()저처럼 OpenAI 모델을 사용하지 않고 개발하다가 같은 문제를 겪는다면 도움이 되길 바랍니다. 전체 소스코드 링크: https://drive.google.com/file/d/1_WP4DM1OWFiP226WksXvjG5Em9dOaqPp/view?usp=sharing

19분에서 21분 음성이 안나와요

c:\miniforge3\envs\inflearn-langgraph-lecture\Lib\site-packages\pydantic\_internal\_config.py:345: UserWarning: Valid config keys have changed in V2:* 'fields' has been removed warnings.warn(message, UserWarning)ERROR:root:Error converting PDF to images: Unable to get page count. Is poppler installed and in PATH?--> ## 추가 설치 해야 할 패키지(강사님은 안함: 애플은 필요 없는 패키지 같음)# Poppler 설치: Poppler(https://github.com/oschwartz10612/poppler-windows/releases/download/v24.08.0-0/Release-24.08.0-0.zip)를 다운로드하여 설치합니다. 운영체제에 맞는 Poppler 바이너리를 다운로드하여 압축을 풀고 적절한 위치에 저장합니다. - (Windows의 경우, bin 폴더의 경로를 기억해두세요.)# 환경 변수 설정 (Windows): (1) 시스템 환경 변수 편집기(검색창에 "환경 변수" 검색)를 엽니다.# (2) "시스템 속성" 창에서 "환경 변수" 버튼을 클릭합니다.# (3) "시스템 변수" 섹션에서 "Path" 변수를 선택하고 "편집" 버튼을 클릭합니다.# (4) "새로 만들기" 버튼을 클릭하고 Poppler bin 폴더의 경로를 추가합니다. (예: C:\path\to\poppler-x.xx.x\bin)# (5) 모든 창을 닫고 변경 사항을 저장합니다.# (6) 터미널 또는 IDE 재시작: 환경 변수 변경 사항이 적용되도록 터미널 또는 IDE를 재시작합니다.