계속 upstage로 진행하고 있었습니다. 이번에도 3.4.1 따라하다 막히는 부분이 있어서 3.4 부분을 보았더니 pc넣는것과 pincone api key 넣는것이 있어서 그부분을 확인 후에 다시 진행을 했습니다. 진행하면서 아래와 같이 오류가 나왔습니다. 오류 내용 ---> 58 raise PineconeConfigurationError("You haven't specified an Api-Key.") 59 if not host: 60 raise PineconeConfigurationError("You haven't specified a host.") 해당 코드 부분 from langchain_pinecone import PineconeVectorStore # 데이터를 처음 저장할 때 index_name= 'tax-upstage-index' database = PineconeVectorStore.from_documents(documents=document_list, embedding=embedding) .env내용 OPENAI_API_KEY= UPSTAGE_API_KEY= LANGCHAIN_API_KEY= LANGCHAIN_TRACING_V2=true PINECONE_API_KEY= PINECONE_ENVIRONMENT=us-east-1 전체 코드 %pip install python-dotenv langchain langchain-openai langchain-community langchain-text-splitters docx2txt langchain-chroma %pip install -qU langchain-pinecone from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200, ) loader = Docx2txtLoader("./tax.docx") document_list = loader.load_and_split(text_splitter=text_splitter) import os from dotenv import load_dotenv from langchain_upstage import UpstageEmbeddings # 환경변수를 불러옴 load_dotenv() pinecone_api_key = os.getenv("PINECONE_API_KEY") pinecone_environment = os.getenv("PINECONE_ENVIRONMENT") print("API Key:", pinecone_api_key) print("Environment:", pinecone_environment) # OpenAI에서 제공하는 Embedding Model을 활용해서 `chunk`를 vector화 embedding = UpstageEmbeddings(model='solar-embedding-1-large') 결과 화면 PINECONE_API_KEY: None PINECONE_ENVIRONMENT: None 분명 .env에도 apikey를 공식 문서에 있는 내용을 가져와서 똑같이 붙여 넣고 했음에도 key값이 출력 나오지 않아, database부분이 진행이 되지 않고 있습니다. pincone default 키값이 문제인가 해서 새로운 key를 만들어 넣었습니다. 혹시 제가 하면서 놓친 부분이 있을까요?
안녕하세요 오늘 파인콘 관련 강의를 들었는데요. pc = Pinecone(api_key= pinecone_api_key) pc = Pinecone(api_key= pinecone_api_key) 이 부분 까지는 잘 되는데, database = PineconeVectorStore.from_documents(document_list, embedding, index_name = index_name) 이 부분을 실행하면 진행이 되지 않습니다. 이런 메세지가 떠요.. gpt한테 물어봐서 아래와 같이 해서(제 환경에 맞게 수정함) 다시 돌려봤지만 결과적으로 마지막 database = PineconeVectorStore.from_documents(document_list, embedding, index_name = index_name) 여기서 같은 오류가 뜨네요 ㅠㅠ 이 경우는 어떻게 해야될까요 import pinecone from langchain.embeddings.openai import OpenAIEmbeddings from langchain.docstore.document import Document from langchain.vectorstores import PineconeVectorStore # 1. Pinecone 초기화 pinecone.init(api_key="your-api-key", environment="us-west1-gcp") # 2. 인덱스 생성 또는 불러오기 index_name = "example-index" if index_name not in pinecone.list_indexes(): pinecone.create_index(index_name, dimension=1536) # 3. 임베딩 모델 설정 embedding = OpenAIEmbeddings(openai_api_key="your-openai-api-key")
안녕하세요. 좋은 강의 감사합니다. 강의를 듣고 저도 word로 데이터를 가공해, 저만의 챗봇을 huggingface에 있는 모델을 사용해 만들어 streamlit에 띄우고 싶습니다. 그런데 streamlit에 띄우는 과정에서 계속 로딩이 오래걸리거나, 로컬과 달리 이상한 답변이 나오는 등 문제를 겪고 있습니다. 참고하면 좋을 만한 자료가 있을까요?
안녕하세요! 우선 저는 현재 윈도우 사용중이고요, 그런 의미에서 꾸역꾸역 3강을 거의 끝나가는 시점입니다~ 처음엔 쥬피터로 했는데, 커널이 계속 죽는 이슈로.. 코랩 엔터프라이즈로 돌리는 중입니다. 쥬피터를 활용해서 가상환경으로 하고 싶었는데 실패해서 결국 base에서 구동했어요ㅠㅠ 커널 죽는것도 이거 때문인가 싶기도하고.. 가상환경이 필수인건가요? 잘 돌아가면 일단 한숨 돌려도 되는거죠..? + vscode랑 쥬피터 연동하면 선생님처럼 .env파일을 쉽게 만들 수 있는건가요? 아님 pyenv한정 가능한 건가요? 저도 vscode로 쥬피터 연동까진 됐는데 .env파일 생성에서 막혀서 그냥 웹에서 돌리고 있었습니다 그마저 커널 이슈로 gcp로 돌렸지만.. ++ Open-AI 대신 gemini를 사용하는건 어떻게 생각하시나요? 본 강의에는 부적합한가요? 구글 크래딧이 있어서 이걸 활용하고 싶은데 꽤 장벽에 부딪히는거(가령 tiktoken이 안된다든지 ) 같은데 이게 제가 잘 몰라서 그런건지 보통 그런건지 모르겠네요. +++ 원래 정말 환경 얘기만 여쭤보려고했는데 적다보니 그동안 몰랐던거를 다 여쭤보게 됐네요.. 강의 잘 듣고 있습니다! 감사합니다~
강사님이 만들어 놓은 requirement.txt 가 아닌 새로운 환경에 구축할경우 버전업이 되며 deprecate된 것인지 일부가 작동하지 않습니다. 작동하지 않는 것들은 아래와 같습니다. 최신버전에선 어떻게 수정해야 써야하나요. from langchain.chains import create_history_aware_retriever, create_retrieval_chain from langchain.chains.combine_documents import create_stuff_documents_chain
안녕하세요, 강의 수강 중 아무리 실행해도 결과가 영상과 동일하게 나오지 않아서 질문드립니다. 실습에 사용중인 tax.docx 파일에서 제55조의 그림으로 되어 있는 테이블을 마크다운으로 변환한 tax_with_markdown.docx로 실습 진행하고 있습니다 . 강의에서 올려주신 마크다운 변환된 파일과 코드로 실행했는데, retriever.invoke(query) 결과에서 제55조가 나오지 않아서 result 값이 제대로 나오지 않습니다. 파인콘 인덱스를 삭제하고 새로 만들어도 결과는 동일하게 나옵니다. 원인이 무엇인지 알 수 있을까요? from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size = 1500, # 문서를 쪼갤 때, 하나의 chunk가 가질 수 있는 토큰 수 chunk_overlap = 200 # 문서를 쪼갤 떄, 중복을 허용하는 토큰 수 ) loader = Docx2txtLoader("tax_with_markdown.docx") document_list = loader.load_and_split(text_splitter=text_splitter) document_list[52] # 마크다운 부분 잘 나오는 거 확인 from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() # API Key 필요 (환경 변수) embedding = OpenAIEmbeddings(model='text-embedding-3-large') import os import time from pinecone import Pinecone from langchain_pinecone import PineconeVectorStore index_name = 'tax-index-markdown' pinecone_api_key = os.environ.get("PINECONE_API_KEY") pc = Pinecone(api_key=pinecone_api_key) database = PineconeVectorStore.from_documents(document_list, index_name=index_name, embedding=embedding) query = '연봉 5천만원인 직장인의 소득세는 얼마인가요?' from langchain_openai import ChatOpenAI llm = ChatOpenAI(model='gpt-4o') from langchain import hub prompt = hub.pull("rlm/rag-prompt") from langchain.chains import RetrievalQA retriever = database.as_retriever() qa_chain = RetrievalQA.from_chain_type( llm, retriever = retriever, chain_type_kwargs = {"prompt":prompt} ) # llm 모델과 벡터데이터베이스와 프롬프트 템플릿 준다. retriever.invoke(query)
안녕하세요. 좋은 강의 감사합니다. 강의를 참고하여 standalone PC(GPU 4090)에서 Ollama, Langchain으로 RAG를 구성하고 테스트하고 있는데요. 혹시 한글 인식이 성능이 좋은 Ollama 임베딩, LLM 모델 추천해주실 수 있을까요? 4090급 GPU를 사용하다 보니 모델 선택 범위가 제한적이네요. 즐거운 하루 되세요.
ModuleNotFoundError : No module named 'chromadb' ImportError : Could not import chromadb python package. Please install it with pip install chromadb . chromadb 패키지를 설치하였는데 같은 오류가 계속 뜨고 있습니다. 버전 문제 일까요? 가상환경 python:3.12.2, chromadb: 0.4.15, langchain: 0.3.4 답변해주시면 정말 감사하겠습니다!
from langchain_chroma import Chroma # 데이터를 처음 저장할 때 database = Chroma.from_documents(documents=document_list, embedding=embedding) 다음 코드를 실행시키면, File c:\Dev\inflearn-llm-application\lib\site-packages\langchain_chroma\vectorstores.py:1089 , in Chroma.from_texts (cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1083 chroma_collection .add_texts( ... --> 571 raise ValueError( 572 f"Batch size {len(batch[0])} exceeds maximum batch size {limits['max_batch_size']}" 573 ) ValueError : Batch size 218 exceeds maximum batch size 166 다음과 같은 error가 발생합니다. 이후 다음과 같이 batch size를 줄여서 실행시키면 from langchain_chroma import Chroma # 배치 크기 설정 batch_size = 166 # 문서 리스트를 배치 크기만큼 나누어 처리 for i in range(0, len(document_list), batch_size): batch_documents = document_list[i:i + batch_size] database = Chroma.from_documents(documents=batch_documents, embedding=embedding) 다음과 같은 오류와 함께 커널이 종료됩니다ㅠ 해결책이 있을까요?
강사님 영상 보면서 따라하고 있는데 자꾸 아래와 같은 오류가 떠서 문의드립니다. [스스로 해본 조치] 폴더를 아예 새로 만들어서 처음부터 다시 만들기 -> 실패 pip install onnxruntime 명령어로 설치 -> 실패 VScode 여러번 껐다가 재부팅 [환경] 현재 PC에 깔린 python 버전 : Python 3.11.6 가상 환경 설치 시 사용한 명령어 : python -m venv ./env 아래는 현재 코드이고 pip install 명령어는 강의 그대로 따라 했습니다. database = Chroma.from_documents(documents=document_list, embedding=embedding) -> 해당 부분 실행 시 오류가 발생합니다. from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200 ) loader = Docx2txtLoader("./tax.docx") document_list = loader.load_and_split(text_splitter=text_splitter) ================ 다른 셀 ================ from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model="text-embedding-3-large") ================ 다른 셀 ================ from langchain_chroma import Chroma database = Chroma.from_documents(documents=document_list, embedding=embedding)
안녕하세요 강사님 답변의 정확성을 높이기 위해 upstage에서 temperature를 사용 해보았는데요. 3~4번 까지 질문의 대답을 잘해주다가 그 후에는 답변에 무한핑으로 "답변을 생성중입니다"가 계속 나오고 있습니다! 기다려보면 토큰 수 초과라고 오류가 나오는데,, temperature 옵션을 넣어주고 나서 토큰 수 초과 오류가 계속 나오고 있습니다. 원인이 무엇일까요??? def get_llm(model_name='solar-1-mini-chat', temperature=0.3): llm = ChatUpstage(model_name=model_name, temperature=temperature) return llm
안녕하세요, 비개발자로 streamlit 부분까지 따라왔는데 막혀버렸습니다 ^^; streamlit import가 되지 않아서 문의드립니다. 콘솔창에서 hello streamlit 입력했을 때 정상적으로 브라우저에 뜨는 것을 확인했는데, 아래처럼 VScode에서는 import가 되지 않습니다. 혹시 가상환경에 문제가 있는걸까요? inflearn-llm-application 가상환경에서 mkdir로 inflearn-streamlit을 만들었고 아래처럼 inflearn-streamlit 을 activate 한 상황입니다. 확인 부탁드리겠습니다! 감사합니다.
