173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
코딩없이 시작하는 엑셀 크롤링. WEB부터 ChatGPT API까지
안녕하세요 강사님 강의 잘 듣고 있습니다. 그런데 함수를 만드는 과정에서 함수의 식별자가 잘못됐다고 하는데, 어떤 부분을 고치면 좋을지 모르겠습니다 혹시 어떤 부분을 고치면 오류를 수정할 수 있을까요?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
query = '연봉 5천만원인 직장인의 소득세는 얼마인가요?'의 쿼리는 다음과 같이 답변합니다. 제공된 문맥에는 연봉 5천만 원인 직장인의 소득세가 구체적으로 정의되어 있지 않습니다. 근로소득에 대한 기본세율이 적용된다고 언급되어 있지만, 기본세율의 구체적인 수치는 제공되지 않았습니다. 따라서 필요한 정보가 부족하여 소득세의 정확한 금액을 계산할 수 없습니다. query = '연봉 5천만원의 소득세를 구체적으로 계산하고, 세율 및 공제 내용을 포함해 설명해 주세요.'의 쿼리에서 연봉이 5천만 원일 경우, 소득세를 계산하기 위해서는 종합소득 과세표준에 적용되는 세율을 사용해야 합니다. 1,400만 원 초과 5,000만 원 이하 구간에 해당하므로 세율은 84만 원 + (1,400만 원을 초과하는 금액의 15%)입니다. 따라서 소득세는 84만 원 + (3,600만 원 * 0.15) = 624만 원이 됩니다. 쿼리 내용에 따라 다르게 답변하는데, 왜 그런건지 알수 있나요? 코드 첨부합니다. # 질문 설정 #query = '연봉 5천만원인 직장인의 소득세는 얼마인가요?' query = '연봉 5천만원의 소득세를 구체적으로 계산하고, 세율 및 공제 내용을 포함해 설명해 주세요.' import pprint # LLM 설정 from langchain_openai import ChatOpenAI llm = ChatOpenAI(model='gpt-4o') from langchain import hub from langchain.chains import RetrievalQA prompt = hub.pull("rlm/rag-prompt") retriever = database.as _retriever() #pprint.pprint(retriever.invoke(query)) qa_chain = RetrievalQA.from_chain_type( llm, retriever= database.as _retriever(), chain_type_kwargs={"prompt": prompt} ) import pprint #pprint.pprint(retriever.invoke(query)) # LLM 실행 ai_message = qa_chain.invoke(query) # 딕셔너리 형태의 응답에서 "answer" 또는 "result" 키 값만 출력 if isinstance(ai_message, dict): answer = ai_message.get("answer") or ai_message.get("result") or "응답 없음" print(answer) else: print(ai_message)
해결됨
코딩없이 시작하는 엑셀 크롤링. WEB부터 ChatGPT API까지
안녕하세요 조달청 나라장터 개편으로 인해 7강은 삭제된 것은 잘 안내 받았습니다. 제가 여쭤보고 싶은 것은 7강에서 쓸 수 있는 개념+내용을 다른 실무에도 적용할 수 있을 것 같은데, 혹시 조달청 말고 다른 사이트를 예시로 한 강의는 없는지 여쭤보고자 합니다. 예를 들어, 한국은행에 들어면 금융규제가 굉장히 많은데 이를 액셀로 한꺼번에 정리하는 방법과 같은 부분에 응용할 수는 없을까요? 감사합니다:) 주니어 레벨이고 입사를 앞두고 있는데, 유용한 강의 올려주셔서 일잘러가 된 것만 같습니다:)
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
위와 같이 충전도 했고 사용한 current usage도 0 달러인데 429 에러가 뜹니다. 혹시 이유가 뭘까요?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
import os # 기존 환경 변수 확인 print("OPENAI_API_KEY:", os.getenv("OPENAI_API_KEY")) print("UPSTAGE_API_KEY:", os.getenv("UPSTAGE_API_KEY")) # OpenAI API 키 삭제 (Upstage API만 사용하도록 설정) if "OPENAI_API_KEY" in os.environ: del os.environ["OPENAI_API_KEY"] # Upstage API 키 직접 설정 os.environ["UPSTAGE_API_KEY"] = "up_kh9mX7uA129qfCuzmcf6COX4HUabn" 처음에 OpenAI API 키랑 Upstage API 키 간의 충돌이 일어났구나 싶어, 위와 같이 코드를 작성한 후에 다시 크로마 DB에 임베딩을 시켜보는 데도 계속 똑같습니다 ㅠㅠ 심지어 API 키를 계속 새로 발급받아도 이래요 ㅠㅠ 어디가 문제일까요...?
미해결
모두를 위한 대규모 언어 모델 LLM Part 3 - 구글 제미나이(Google Gemini) API, OpenAI API와 젬마(Gemma)로 AI 어플리케이션 만들기
이러한 에러가 발생합니다.
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요 dictionary chain을 구성할때 궁금한 점이 있습니다. dictionary = ["사람을 나타내는 표현 -> 거주자"] 으로 수업중에 진행한 것을 봤습니다! 다만 다양한 단어 사전이 필요할 수 있을 것 같은데 구조를 어떻게 하면 좋을지 고민되어 여쭤봅니다. 1. 리스트 형태 dictionary = [ "사람 -> 거주자", "학생 -> 학습자", "교수 -> 강사", "회사원 -> 직장인" ] 2. 완전 비정형 텍스트 dictionary = """ 사람 -> 거주자, 학생 -> 학습자, 교수 -> 강사, 회사원 -> 직장인 """ 혹시 이럴때도 팁같은게 좀 있을까요??
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
3.4강을 보고 따라하고있습니다. 현재 test.ipynb에서 진행중이고 .env는 api key가 입력되어있습니다. 먼저 첫 셀을 실행하고 두 번째 셀로 연결을 하려는데 잘 되지 않네요. ㅠ 오류메세지는 다음과 같습니다. 파인콘 API키도 재발급 받아봤고 pc = Pinecone(api_key="pinecone_api_key") 이런식으로 직접 문자열로도 해봤는데 안되네요 ㅠㅠ 왜이런걸까요? 일단 API 키 인식을 못하길래 직접 이렇게 넣었는데도 안되네요; ㅠ 왜이런걸까요? 혹시 해결에 도움될 만한 추가 필요 자료가 있다면 이야기하시면 더 드리도록하겠습니다. ( 환경 pip 라던가.. ) 아래 공식 사이트에 가서 https://python.langchain.com/docs/integrations/vectorstores/pinecone/ 직접적인 환경변수를 넣으면 잘됩니다. 어째서일까요? 해결 : 커널을 재시작하니 잘됩니다. 모두들 기본에 충실하시길;;
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
3.2.1 LangChain과 Chroma를 활용한 RAG 구성 + Upstage Embeddings.ipynb 파일을 .py로 변환하여 실행시켰는데, 결과가 제대로 나오지 않습니다. 한번인가 정확하게 나왔던것 같습니다. 무슨 문제 인지 궁금합니다. -------------------------------- %runfile /home/sjhappy/downloads/source_code/LLM/inflearn-lim-application/3_2_ 2.py --wdir /home/sjhappy/anaconda3/envs/LLM_EN/lib/python3.9/site-packages/langsmith/client.py:253: LangSmithMissingAPIKeyWarning: API key must be provided when using hosted LangSmith API warnings.warn( {'query': '연봉 3천만원인 직장인의 소득세는 얼마인가요?', 'result': '질문에서 제공된 정보로는 정확한 소득세를 계산할 수 없습니다. 소득세는 근로소득 외에 다른 소득, 세액공제 및 감면액 등에 따라 달라질 수 있습니다. 따라서, 더 자세한 정보를 제공해주시면 소득세를 계산해드릴 수 있습니다.'} ------------------ # coding: utf-8 # # 1. 패키지 설치 # In[1]: # # 2. Knowledge Base 구성을 위한 데이터 생성 # # - [RecursiveCharacterTextSplitter]( https://python.langchain.com/v0.2/docs/how_to/recursive_text_splitter/)를 활용한 데이터 chunking # - split 된 데이터 chunk를 Large Language Model(LLM)에게 전달하면 토큰 절약 가능 # - 비용 감소와 답변 생성시간 감소의 효과 # - LangChain에서 다양한 [TextSplitter]( https://python.langchain.com/v0.2/docs/how_to/#text-splitters)들을 제공 # - chunk_size 는 split 된 chunk의 최대 크기 # - chunk_overlap 은 앞 뒤로 나뉘어진 chunk들이 얼마나 겹쳐도 되는지 지정 # In[1]: from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200, ) loader = Docx2txtLoader('./tax.docx') document_list = loader.load_and_split(text_splitter=text_splitter) # In[2]: from dotenv import load_dotenv from langchain_upstage import UpstageEmbeddings # 환경변수를 불러옴 load_dotenv() # OpenAI에서 제공하는 Embedding Model을 활용해서 chunk 를 vector화 embedding = UpstageEmbeddings(model="solar-embedding-1-large") # In[7]: from langchain_chroma import Chroma # 데이터를 처음 저장할 때 database = Chroma.from_documents(documents=document_list, embedding=embedding, collection_name='chroma-tax', persist_directory="./chroma") # 이미 저장된 데이터를 사용할 때 # database = Chroma(collection_name='chroma-tax', persist_directory="./chroma", embedding_function=embedding) # # 3. 답변 생성을 위한 Retrieval # # - Chroma 에 저장한 데이터를 유사도 검색( similarity_search() )를 활용해서 가져옴 # In[8]: query = '연봉 3천만원인 직장인의 소득세는 얼마인가요?' # k 값을 조절해서 얼마나 많은 데이터를 불러올지 결정 retrieved_docs = database.similarity_search(query, k=4) # In[9]: retrieved_docs # # 4. Augmentation을 위한 Prompt 활용 # # - Retrieval된 데이터는 LangChain에서 제공하는 프롬프트( "rlm/rag-prompt" ) 사용 # In[10]: from langchain_upstage import ChatUpstage llm = ChatUpstage() # In[11]: from langchain import hub prompt = hub.pull("rlm/rag-prompt") # # 5. 답변 생성 # # - [RetrievalQA]( https://docs.smith.langchain.com/old/cookbook/hub-examples/retrieval-qa-chain)를 통해 LLM에 전달 # - RetrievalQA 는 [create_retrieval_chain]( https://python.langchain.com/v0.2/docs/how_to/qa_sources/#using-create_retrieval_chain)으로 대체됨 # - 실제 ChatBot 구현 시 create_retrieval_chain 으로 변경하는 과정을 볼 수 있음 # In[12]: from langchain.chains import RetrievalQA qa_chain = RetrievalQA.from_chain_type( llm, retriever= database.as _retriever(), chain_type_kwargs={"prompt": prompt} ) # In[13]: ai_message = qa_chain({"query": query}) # In[14]: # 강의에서는 위처럼 진행하지만 업데이트된 LangChain 문법은 .invoke() 활용을 권장 ai_message = qa_chain.invoke({"query": query}) # In[15]: print(ai_message) # In[ ]:
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요 강사님. 🙂 질문 내용 3.3 강의를 듣던 중 chatGPT 말고 upstage로 구성하는 방법은 없을까? 하고 스스로 방법을 찾아봤습니다. https://github.com/openai/tiktoken/blob/main/tiktoken/model.py 현재 tiktoken에서 제공되는 model 중 upstage의 solar 모델이 없는 것 같습니다. upstage 로 RAG를 구성하는 방법도 배울 수 있을까요..?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요. 지금 Chroma.from_documents(documents=document_list, embedding=embedding) 이 부분에서 에러가 나서 질문 드립니다. 개발 환경은 vscode에서 jupyter notebook 가상환경 만들어서 사용 중입니다. 사내에서 공부 중이라 drm으로 인해 txt 파일로 변경을 했고, ollama를 사용해서 embedding model을 생성했습니다. mxbai-embed-large 이 모델을 사용했고요. 일단 소요 시간이 너무 오래 걸립니다. 그리고 1시간이 넘어가고는 canceled future for execute_request message before replies were done 이 에러가 뜨더라고요. 그래서 python으로 작성을 했더니 2시간 정도 걸리니까 생성은 되더라고요. 이건 좀 아닌 거 같아서 질문 드립니다. 혹시 왜 이런지 아실까요?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
작성해주신 코드를 볼 수 있는 곳이 있을까요? 대화 기록을 남기는 법, 채이닝을 이용하는 법을 코드를 보면서 따라가고 싶습니다
미해결
모두를 위한 대규모 언어 모델 LLM Part 5 - LangGraph로 나만의 AI 에이전트 만들기
강사님 강의 잘 듣고 있습니다. 강사님 강의 4개째 입니다. Airline Red Teaming Korean 를 랭스미스에서 클론할 때 권한 오류(401)가 발생합니다. 물론 재 API 설정도 다 했고, 랭스미스도 설정한 상태에서 에러가 발생합니다. 답변 부탁드립니다.
미해결
입문자를 위한 LangChain 기초 — v1.0+ 업데이트
멀티체인 부분에서 chain1의 답변이.. 길게 나옵니다. 한 단어로 'future'라는 답변이 나와야 사실 chain2에 english_word라는 변수에 알맞는 값이 들어가는 걸텐데요. 문장으로 답이 나와서 이상한 상황입니다. 무슨 문제가 있어서 이렇게 invoke 결과값이 달라지는지 제가 뭘잘못했는지 모르겠습니다. 제 잘못이 아니라면 이게 무엇 때문인지, 어떻게 해결할 수 있을지 궁금합니다. (chain2도 답변을 영어로 하는 문제도 있습니다.)
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요 강사님 🙂 저는, 이번 강의를 통해 ipynb로 처음 실습을 해봅니다. 실습 중 처음부터 막히는 부분이 발생해서 질문을 남깁니다. 실습환경 Mac OS Python 3.13 pyenv virtualenv 작성한 코드 %pip install langchain-upstage python-dotenv 발생한 오류 Collecting langchain-upstage Using cached langchain_upstage-0.6.0-py3-none-any.whl.metadata (3.3 kB) Requirement already satisfied: python-dotenv in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (1.0.1) Requirement already satisfied: langchain-core<0.4.0,>=0.3.29 in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (from langchain-upstage) (0.3.34) Requirement already satisfied: langchain-openai<0.4,>=0.3 in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (from langchain-upstage) (0.3.4) Collecting pypdf<5.0.0,>=4.2.0 (from langchain-upstage) Using cached pypdf-4.3.1-py3-none-any.whl.metadata (7.4 kB) Requirement already satisfied: requests<3.0.0,>=2.31.0 in /Users/dot/.pyenv/versions/3.10/envs/inflearn-llm-application/lib/python3.13/site-packages (from langchain-upstage) (2.32.3) Collecting tokenizers<0.20.0,>=0.19.1 (from langchain-upstage) Using cached tokenizers-0.19.1.tar.gz (321 kB) Installing build dependencies ... Getting requirements to build wheel ... Preparing metadata (pyproject.toml) ... error: subprocess-exited-with-error × Preparing metadata (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [6 lines of output] Checking for Rust toolchain.... Cargo, the Rust package manager, is not installed or is not on PATH. This package requires Rust and Cargo to compile extensions. Install it through the system's package manager or via https://rustup.rs/ [end of output] ... note: This is an issue with the package mentioned above, not pip. hint: See above for details. Note: you may need to restart the kernel to use updated packages. Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings... 문제 해결 제가 영어를 못해서 claude한테 질문해보니까, Rust와 Cargo가 설치되어 있지 않다고 하더군요. curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh source "$HOME/.cargo/env" 해당 명령어로 rust를 설치 한 뒤, 수행하면 될거라고 하는데... 너무 번거로워서 다른 방법으로 빌드된 버전을 미리 설치하도록 수행했습니다. %pip install --only-binary :all: langchain-upstage python-dotenv 궁금한 점 langchain-openai를 설치할 때는 문제가 없던데, 왜 langchain-upstage는 이런 문제가 발생하나요..?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
현재 개인정보 배우미 챗봇을 다 만들고 테스트 중에 있습니다. 문서는 총 78개를 넣었고, 문서에서 관련 내용을 잘 찾아서 응답하고 있는데, 실제 문서와 응답을 대조해서 1차로 사람이 확인하는 방법 이외에 langsmith와 같이 성능을 측정하기 위한 플랫폼이 있는지 궁금 합니다. langsmith의 경우 챗봇 속도를 확인하고 각 항목당 어떻게 처리하는지 확인이 가능하나, 질문에 대한 정확도나 유사도를 보기 쉽게 확인하기는 조금 부족한것 같더라구요.. huggingface의 evaluate를 써봤으나, 단어, 구문 구조가 다르면 0점으로 평가될 가능성이 높아 적합하지 않아보입니다.. 혹 추천해주실 만한 플랫폼이 있으실까요?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
다른 분도 마찬가지로 질문 남겨주셨는데 hub,pull 시에 에러가 발생합니다. 정책이 바뀐 것 같다는 답변을 보고, langSmith 에서 카드를 등록하고 'Developer' Plan 을 선택도 했고, API KEY 도 발급 후 .env 파일에 아래와 같이 설정해도 에러가 발생합니다. LANGCHAIN_TRACING_V2=true LANGCHAIN_API_KEY=<API_KEY> Failed to get info from https://api.smith.langchain.com : LangSmithConnectionError('Connection error caused failure to GET /info in LangSmith API. Please confirm your internet connection. SSLError(MaxRetryError("HTTPSConnectionPool(host=\' api.smith.langchain.com \', port=443): Max retries exceeded with url: /info (Caused by SSLError(SSLCertVerificationError(1, \'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1007)\')))"))\nContent-Length: None\nAPI Key: lsv2_********************************************06') window 환경이고 local 환경에서 구동 중이라 별도 방화벽은 설정이 되어있지 않았는데 해결 방안 공유 부탁드립니다.
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
혹시 다른 방법으로 prompt를 생성할 방법이 있을까요?
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
위와 같이 poetry env 가 보이지 않는데 어떻게 해결해야 할까요??
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
외부에 오픈할 토이프로젝트를 진행하려고 무료 API를 찾다보니, Amazon Lex 모델이 1년간 매일 일정량을 무료로 제공하고 있더라구요. AI를 처음 사용해보는거라 OPEN AI 처럼 강의 예시인 소득세법 챗봇을 구현하는게 가능한 모델인지 모르겠어서 강사님 의견을 여쭤보고싶습니다!
