안녕하세요 이번에 인프런 강의를 들으면서 프로젝트로 학과 정보를 소개하는 챗봇을 개발하려고 합니다. 그런데 pdf 안에 내용이 스캔되어 있어서 loader가 읽어오지 못하는데 이러한 경우에는 어떻게 해결할 수 있을지 도움주시면 감사하겠습니다.

안녕하세요. 강의 잘듣고 있는 학생입니다. 이번에 프로토콜 문서를 아래와 같이 동작시키고 있습니다.chunk_size = 10000 for i in range(0, len(document_list), chunk_size): chunk_documents = document_list[i:i + chunk_size] print(i) database = call_with_backoff( Chroma.from_documents, documents=chunk_documents, collection_name="chroma-5g", persist_directory="./chroma", embedding=embedding ) 그런데 꼭 아래 에러가 발생됩니다. --------------------------------------------------------------------------- RateLimitError Traceback (most recent call last) Cell In[1], line 13 12 try: ---> 13 return function(*args, **kwargs) 14 except openai.error.RateLimitError as e: File c:\anaconda3\envs\llm\lib\site-packages\langchain_chroma\vectorstores.py:1128, in Chroma.from_documents(cls, documents, embedding, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1127 metadatas = [doc.metadata for doc in documents] -> 1128 return cls.from_texts( 1129 texts=texts, 1130 embedding=embedding, 1131 metadatas=metadatas, 1132 ids=ids, 1133 collection_name=collection_name, 1134 persist_directory=persist_directory, 1135 client_settings=client_settings, 1136 client=client, 1137 collection_metadata=collection_metadata, 1138 **kwargs, 1139 ) File c:\anaconda3\envs\llm\lib\site-packages\langchain_chroma\vectorstores.py:1089, in Chroma.from_texts(cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1088 else: -> 1089 chroma_collection.add_texts(texts=texts, metadatas=metadatas, ids=ids) ... ---> 14 except openai.error.RateLimitError as e: 15 print(f"Rate limit exceeded: {e}. Retrying in 15 seconds...") 16 time.sleep(15)chunk_size 로 나누어서 입력하면 될줄알았더니만 계속 에러가 발생해서 진도가 안나가네요. ㅜㅜ 참고로 len(document_list)는 747076이네요.  해결할 방법이 있을까요?

chatgpt로 질문지 만드셨는데, metadata는 어떻게 만드셨나요?좋은 강의 감사합니다.

from langchain_chroma import Chroma # 데이터를 처음 저장할 때 database = Chroma.from_documents(documents=document_list, embedding=embedding)다음 코드를 실행시키면, File c:\Dev\inflearn-llm-application\lib\site-packages\langchain_chroma\vectorstores.py:1089, in Chroma.from_texts(cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1083 chroma_collection.add_texts(...--> 571 raise ValueError( 572 f"Batch size {len(batch[0])} exceeds maximum batch size {limits['max_batch_size']}" 573 ) ValueError: Batch size 218 exceeds maximum batch size 166다음과 같은 error가 발생합니다.이후 다음과 같이 batch size를 줄여서 실행시키면from langchain_chroma import Chroma # 배치 크기 설정 batch_size = 166 # 문서 리스트를 배치 크기만큼 나누어 처리 for i in range(0, len(document_list), batch_size): batch_documents = document_list[i:i + batch_size] database = Chroma.from_documents(documents=batch_documents, embedding=embedding) 다음과 같은 오류와 함께 커널이 종료됩니다ㅠ해결책이 있을까요?

강사님 영상 보면서 따라하고 있는데 자꾸 아래와 같은 오류가 떠서 문의드립니다.[스스로 해본 조치]폴더를 아예 새로 만들어서 처음부터 다시 만들기 -> 실패pip install onnxruntime 명령어로 설치 -> 실패VScode 여러번 껐다가 재부팅[환경]현재 PC에 깔린 python 버전 : Python 3.11.6가상 환경 설치 시 사용한 명령어 : python -m venv ./env 아래는 현재 코드이고 pip install 명령어는 강의 그대로 따라 했습니다.database = Chroma.from_documents(documents=document_list, embedding=embedding) -> 해당 부분 실행 시 오류가 발생합니다. from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200 ) loader = Docx2txtLoader("./tax.docx") document_list = loader.load_and_split(text_splitter=text_splitter) ================ 다른 셀 ================ from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model="text-embedding-3-large") ================ 다른 셀 ================ from langchain_chroma import Chroma database = Chroma.from_documents(documents=document_list, embedding=embedding)

안녕하세요, 판다스님강의를 보면서 실습 중 에러가 발생해서 문의드립니다.실습파일은 LangChain_003_Data_Processing.ipynb 입니다.2.4 CSV 문서에서 오류가 발생했습니다.에러 코드는 UnicodeDecodeError: 'cp949' codec can't decode byte 0xed in position 62: illegal multibyte sequence 입니다.혹시, 해결방법을 알고 계세요??

해당 코드를 입력하려고 하면 아래와 같이 에러가뜨면서 안됩니다.UnauthorizedException: (401) Reason: Unauthorized HTTP response headers: HTTPHeaderDict({'x-pinecone-api-version': '2024-07', 'X-Cloud-Trace-Context': 'd7645f84f8507a4f73471e43f8baec5a', 'Date': 'Wed, 02 Oct 2024 08:45:53 GMT', 'Content-Type': 'text/html', 'Server': 'Google Frontend', 'Content-Length': '15', 'Via': '1.1 google', 'Alt-Svc': 'h3=":443"; ma=2592000,h3-29=":443"; ma=2592000'}) HTTP response body: Invalid API Key

이 강의를 보며 공부하면서 따라하다가 궁금해졌습니다.streamlit을 사용하는 분도 있는데 gradio를 사용하시는 이유가 궁금합니다.그리고 streamlit과 gradio의 차이를 아신다면 알려주시겠습니까?

안녕하세요 강사님답변의 정확성을 높이기 위해 upstage에서 temperature를 사용 해보았는데요.3~4번 까지 질문의 대답을 잘해주다가 그 후에는 답변에 무한핑으로 "답변을 생성중입니다"가 계속 나오고 있습니다! 기다려보면 토큰 수 초과라고 오류가 나오는데,, temperature 옵션을 넣어주고 나서 토큰 수 초과 오류가 계속 나오고 있습니다. 원인이 무엇일까요???def get_llm(model_name='solar-1-mini-chat', temperature=0.3): llm = ChatUpstage(model_name=model_name, temperature=temperature) return llm

스크롤이 일어 날 때 마다 화면이 다 뭉게지는게 너무 심해요. 2,3 강은 거의 보기 힘든 수준이고 다른 강의는 그나마 나은 수준입니다. 

안녕하세요, 비개발자로 streamlit 부분까지 따라왔는데 막혀버렸습니다 ^^;streamlit import가 되지 않아서 문의드립니다. 콘솔창에서 hello streamlit 입력했을 때 정상적으로 브라우저에 뜨는 것을 확인했는데, 아래처럼 VScode에서는 import가 되지 않습니다. 혹시 가상환경에 문제가 있는걸까요? inflearn-llm-application 가상환경에서 mkdir로 inflearn-streamlit을 만들었고 아래처럼 inflearn-streamlit 을 activate 한 상황입니다. 확인 부탁드리겠습니다! 감사합니다.   

안녕하세요 강사님 질문이 있는데,문서 20개 정도를 Pinecone에 등록한다고 할 때 인덱스 하나에 모두 등록하시나요?? 인덱스 하나에서 답변을 찾는게 정확성이 좀 떨어지는거 같은 느낌이들어서요~!많은 문서에서 보다 정확한 답변을 얻으려면 좋은 방법이 있을까요??

문서에 없는 내용을 질문하면 prompt에서 답변을 알 수 없다면 모른다고 답변해주세요 라고 하셨는데요 그런 경우에 위키피티아등에서 검색하게 하고 싶은데 가능할까요?

upstage 사용시 위와 같이 에러가 나오는데요 혹시 해결 방법이 있을까요?

 안녕하세요,저는 하나하나 선생님 코드를 보며 따라하고 있는 코린이입니다.. 아래 부분을 입력하였더니 계속 오류가 발생하여 질문드립니다. from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model= 'text-embedding-3-large')PydanticUserError: The __modify_schema__ method is not supported in Pydantic v2. Use __get_pydantic_json_schema__ instead in class SecretStr. For further information visit https://errors.pydantic.dev/2.8/u/custom-json-schema오류 메시지에 따르면 pydantic v2에서는 __modify_schema__ 메서드가 더 이상 지원되지 않으며, __get_pydantic_json_schema__를 사용하라고 안내하고 있습니다.환경:Python 3.11Pydantic 2.5.2langchain-core 0.3.0langchain-openai 0.2.0기타 종속성 버전:annotated-types==0.7.0openai==1.45.1pydantic_core==2.14.5해결 시도:pydantic, langchain_openai, langchain-core를 최신 버전으로 업데이트했습니다.패키지를 제거하고 다시 설치하는 방식으로 문제 해결을 시도했습니다.현재 이 문제를 어떻게 해결해야 할지 모르겠습니다.감사합니다!

방가요. 강사님과 온라인이나 오프라인에서 볼 수 있게 커뮤니티 만들어 주시면 좋겠어요^^

강병진 지식공유자님, 안녕하세요!인프런 운영 매니저 자미라고 합니다.고객센터 통해서, 예비 수강생의 질문이 들어와 제가 대신 여쭤봅니다. 강의 구매 전인데, 아래 내용이 이 강의를 통해서 해결되는 지 궁금하다고 하셨어요.[ 질문 ]이 강의에서 다음 내용을 배울 수 있나요?"나의 비공개 문서를 학습한 AI를 통해 사용자의 물음에 답할 수 있는 AI 앱"이라는 내용에 대해 질문해주셔서, 이 부분에 대해 강사님께서 확인 후 답변 남겨주시면 제가 전달해드리도록 하겠습니다.저희가 제공하는 [수강 전 문의하기] 라는 기능을 통한다면 수강생이 바로 질문하실 수 있는데요! 이 강의는 그 기능을 제공하고 있지 않아 제가 대신 질문을 통해 남기는 점 양해해 주시길 바랍니다. 😃  항상 좋은 지식 나누어 주셔서 감사드립니다.풍성하고 행복한 한가위 보내시길 바랍니다.감사합니다!

파인튜닝에 관한 수업을 만드실 계획은 없으신가요?

안녕하세요, 비개발자이고 파이썬 코드만 조금 다룰 줄 아는데,환경설정 부분부터 막히네요 ㅠㅠ 환경설정(설치)이 되면, 강사님 코드를 그대로 따라 해보려고 했는데, 혹시 환경설정 할 수 있는 매뉴얼 같은것이 있을까요? 아니면 비개발자가 듣기 어려운 강의일까요? 강의 뒷부분도 비개발자는 수강이 어려울지 문의드립니다. 감사합니다.

안녕하세요! ChatOpenAI를 활용해서 항상 강의 잘듣고 있습니다. 강의 따라 모델을 gpt-4o로 사용하던중https://openai.com/api/pricing/에서 4o여도 모델의 종류가 gpt-4o, gpt-4o-2024-08-06, gpt-4o-2024-05-13으로나눠져있는 것 같은데 가격도 다르더라고요. 이들은 무슨차이가 있는건가요?