from langchain_chroma import Chroma # 데이터를 처음 저장할 때 database = Chroma.from_documents(documents=document_list, embedding=embedding) 다음 코드를 실행시키면, File c:\Dev\inflearn-llm-application\lib\site-packages\langchain_chroma\vectorstores.py:1089 , in Chroma.from_texts (cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1083 chroma_collection .add_texts( ... --> 571 raise ValueError( 572 f"Batch size {len(batch[0])} exceeds maximum batch size {limits['max_batch_size']}" 573 ) ValueError : Batch size 218 exceeds maximum batch size 166 다음과 같은 error가 발생합니다. 이후 다음과 같이 batch size를 줄여서 실행시키면 from langchain_chroma import Chroma # 배치 크기 설정 batch_size = 166 # 문서 리스트를 배치 크기만큼 나누어 처리 for i in range(0, len(document_list), batch_size): batch_documents = document_list[i:i + batch_size] database = Chroma.from_documents(documents=batch_documents, embedding=embedding) 다음과 같은 오류와 함께 커널이 종료됩니다ㅠ 해결책이 있을까요?
강사님 영상 보면서 따라하고 있는데 자꾸 아래와 같은 오류가 떠서 문의드립니다. [스스로 해본 조치] 폴더를 아예 새로 만들어서 처음부터 다시 만들기 -> 실패 pip install onnxruntime 명령어로 설치 -> 실패 VScode 여러번 껐다가 재부팅 [환경] 현재 PC에 깔린 python 버전 : Python 3.11.6 가상 환경 설치 시 사용한 명령어 : python -m venv ./env 아래는 현재 코드이고 pip install 명령어는 강의 그대로 따라 했습니다. database = Chroma.from_documents(documents=document_list, embedding=embedding) -> 해당 부분 실행 시 오류가 발생합니다. from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200 ) loader = Docx2txtLoader("./tax.docx") document_list = loader.load_and_split(text_splitter=text_splitter) ================ 다른 셀 ================ from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model="text-embedding-3-large") ================ 다른 셀 ================ from langchain_chroma import Chroma database = Chroma.from_documents(documents=document_list, embedding=embedding)
안녕하세요, 판다스님 강의를 보면서 실습 중 에러가 발생해서 문의드립니다. 실습파일은 LangChain_003_Data_Processing.ipynb 입니다. 2.4 CSV 문서에서 오류가 발생했습니다. 에러 코드는 UnicodeDecodeError : 'cp949' codec can't decode byte 0xed in position 62: illegal multibyte sequence 입니다. 혹시, 해결방법을 알고 계세요??
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
랭체인으로 나만의 ChatGPT 만들기를 공부하다가 보니 아래와 같이 schema 가 나오는데 이 라이브러리는 뭐하는 건지요? 랭체인 사이트에 들어가 봐도 시원하게 설명되어 있는 것이 없어 문의 드립니다. from langchain.schema import HumanMessage
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
안녕하세요. 강의를 듣던 중 유트뷰에서 라마 3(Llama 3)로 AI 텍스트 번역하기 - 무료로 ChatGPT보다 뛰어난 성능의 AI 번역챗봇 만들기를 듣고 따라해 보던 중 소스코드가 실행이 안되어서 문의드립니다. 에러가 나는 부분은 아래입니다. llama3_translatation_text = generate_response(system_message="너는 번역을 수행하는 챗봇이야. 다음 내용을 번역해줘.", user_message=eng_text) print(llama3_translatation_text) 오류 메시지는 처음에는 아래와 같았습니다. The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's attention_mask to obtain reliable results. Setting pad_token_id to eos_token_id :2 for open-end generation.' 그리고 최근에는 아래와 같습니다. ValueError : Cannot use apply_chat_template() because tokenizer.chat_template is not set and no template argument was passed! For information about writing templates and setting the tokenizer.chat_template attribute, please see the documentation at https://huggingface.co/docs/transformers/main/en/chat_templating 여러 가지를 찾아 봐도 해결을 못해서 문의드립니다. 그럼 수고하세요.
안녕하세요 강사님 답변의 정확성을 높이기 위해 upstage에서 temperature를 사용 해보았는데요. 3~4번 까지 질문의 대답을 잘해주다가 그 후에는 답변에 무한핑으로 "답변을 생성중입니다"가 계속 나오고 있습니다! 기다려보면 토큰 수 초과라고 오류가 나오는데,, temperature 옵션을 넣어주고 나서 토큰 수 초과 오류가 계속 나오고 있습니다. 원인이 무엇일까요??? def get_llm(model_name='solar-1-mini-chat', temperature=0.3): llm = ChatUpstage(model_name=model_name, temperature=temperature) return llm
안녕하세요, 비개발자로 streamlit 부분까지 따라왔는데 막혀버렸습니다 ^^; streamlit import가 되지 않아서 문의드립니다. 콘솔창에서 hello streamlit 입력했을 때 정상적으로 브라우저에 뜨는 것을 확인했는데, 아래처럼 VScode에서는 import가 되지 않습니다. 혹시 가상환경에 문제가 있는걸까요? inflearn-llm-application 가상환경에서 mkdir로 inflearn-streamlit을 만들었고 아래처럼 inflearn-streamlit 을 activate 한 상황입니다. 확인 부탁드리겠습니다! 감사합니다.
from selenium.webdriver.common.by import By economy = driver.find_element(By.CSS_SELECTOR,'#gnbContent > div > ul > li:nth-child(4) > a > span') economy economy.click() driver.implicitly_wait(5) 시 화면이 공백으로 나오네요
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
db = SQLDatabase.from_uri("sqlite:///chinook.db") write_query = create_sql_query_chain(llm, db) execute_query = QuerySQLDataBaseTool(db=db) answer_prompt = PromptTemplate.from_template( """Given the following user question, corresponding SQL query, and SQL result, answer the user question. Question: {question} SQL Query: {query} SQL Result: {result} Answer: """ ) print("write_query : ", write_query) answer = answer_prompt | llm | StrOutputParser() chain = ( RunnablePassthrough.assign(query=write_query).assign( result=itemgetter("query") | execute_query ) | answer ) 이 부분에서 chain 과 관련한 동작을 좀 더 상세히 설명 부탁드릴 수 있는지요?
안녕하세요, 저는 하나하나 선생님 코드를 보며 따라하고 있는 코린이입니다.. 아래 부분을 입력하였더니 계속 오류가 발생하여 질문드립니다. from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model= 'text-embedding-3-large') PydanticUserError: The __modify_schema__ method is not supported in Pydantic v2. Use __get_pydantic_json_schema__ instead in class SecretStr. For further information visit https://errors.pydantic.dev/2.8/u/custom-json-schema 오류 메시지에 따르면 pydantic v2 에서는 __modify_schema__ 메서드가 더 이상 지원되지 않으며, __get_pydantic_json_schema__ 를 사용하라고 안내하고 있습니다. 환경: Python 3.11 Pydantic 2.5.2 langchain-core 0.3.0 langchain-openai 0.2.0 기타 종속성 버전: annotated-types==0.7.0 openai==1.45.1 pydantic_core==2.14.5 해결 시도: pydantic , langchain_openai , langchain-core 를 최신 버전으로 업데이트했습니다. 패키지를 제거하고 다시 설치하는 방식으로 문제 해결을 시도했습니다. 현재 이 문제를 어떻게 해결해야 할지 모르겠습니다.감사합니다!
