173만명의 커뮤니티!! 함께 토론해봐요.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요. 섹션 20~23 colab링크는 있는데요. 강의자료 pdf가 없어서 문의 드립니다. llama 3.1, 3.2 / LLM최적화등.
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요. 좋은 강의 감사합니다. 강의를 참고하여 standalone PC(GPU 4090)에서 Ollama, Langchain으로 RAG를 구성하고 테스트하고 있는데요. 혹시 한글 인식이 성능이 좋은 Ollama 임베딩, LLM 모델 추천해주실 수 있을까요? 4090급 GPU를 사용하다 보니 모델 선택 범위가 제한적이네요. 즐거운 하루 되세요.
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
ModuleNotFoundError : No module named 'chromadb' ImportError : Could not import chromadb python package. Please install it with pip install chromadb . chromadb 패키지를 설치하였는데 같은 오류가 계속 뜨고 있습니다. 버전 문제 일까요? 가상환경 python:3.12.2, chromadb: 0.4.15, langchain: 0.3.4 답변해주시면 정말 감사하겠습니다!
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
학습 시작하면 wandb: Paste an API key from your profile and hit enter, or press ctrl+c to quit: 하고 입력을 기다리네요. 어떤 것을 입력해야 하나요?
해결됨
딥러닝 이론 + PyTorch 실무 완전 정복
여기서 네트워크를 구성할 때 맨 마지막에 sigmoid를 태운 후에 마지막에 또 Softmax를 태우는데, 이렇게 할 거면 애초부터 네트워크의 마지막단을 sigmoid가 아닌 softmax를 태우면 되는 거 아닌가요? 왜 sigmoid를 거친 후에 softmax를 태워야 하는 것인지 알 수 있을까요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 OpenAI Assistants tools 기능중 retrieval 기능 대신 File Search 기능이 doc 페이지에서 보이는데 사용자가 upload 한 pdf file 을 기반으로 QnA 를 할 수 있는 기능은 이젠 제공되지 않나요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 수업노트의 코드를 실행했을때 Assistant's Response message value 에서 중간 풀이 과정이 출력되지 않는데 동영상과 차이가 뭘까요? ㅇ 동영상 Value = "I need to solve the equation 3x + 11 = 14 . Can you help me?" Value = "Sure, Jane Doe! To solve the eqation 3x + 11 = 14 for x, We need to isolate x on the one side of eqation. Here's how we can do it step by step. Subtract 11 from both sides of the eqation to get '3x' by itself on one side. That leaves us with '3x = 14 - 11' Simplify the right side of equation to find out what '3x' equation. Divide both sides of the equation by 3 to solve for 'x' Let's do the calculation" Value = "The solution to the equation '3x + 11 = 14' is x = 1" ㅇ 실습코드 value='The solution to the equation \\(3x + 11 = 14\\) is \\(x = 1\\).') 'I need to solve the equation 3x + 11 = 14 . Can you help me?'
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
학습자료의 git을 클론했을 때 requirements.txt 파일에서 호환성 오류가 나는 것 같습니다. 서로 호환되게 계속 바꿔봐도 pip check에서 오류를 내네요 어떻게 수정하면 좋을까요? ㅜㅜ
미해결
모두를 위한 대규모 언어 모델 LLM Part 3 - 구글 제미나이(Google Gemini) API, OpenAI API와 젬마(Gemma)로 AI 어플리케이션 만들기
안녕하세요. PPT 강의자료는 누락되어있는데, 별도 요청드립니다. 감사합니다.
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
스캔된 pdf가 1대1분할형식과 메타데이터가 섞여있습니다. pdf 한 페이지에 이러한 형태로 데이터가 저장되어있으면 어떻게 전처리를 해야될지 도움주시면 감사하겠습니다
해결됨
RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
from langchain_core.output_parsers import PydanticOutputParser from langchain_core.pydantic_v1 import BaseModel, Field, validator 예제 코드에 맞춰 pydantic_v1을 사용하였지만, deprecate되었다는 경고문이 떴습니다. pydantic_v2가 나왔으니 해당 라이브러리고 교체하라는 내용이였습니다. v1을 v2로 변경해서 적용해보았지만, 빨간줄이 떴습니다. 그래서 저는 임시 방편으로 다음과 같이 코드를 수정했습니다. from pydantic import BaseModel, Field, validator0 해당 부분에 대해서 왜 deprecate가 떴는지, 그리고 왜 deprecate된 코드를 사용할 수 없는 것인지 궁금하여 질문을 남기게 되었습니다. 감사합니다.
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요 이번에 인프런 강의를 들으면서 프로젝트로 학과 정보를 소개하는 챗봇을 개발하려고 합니다. 그런데 pdf 안에 내용이 스캔되어 있어서 loader가 읽어오지 못하는데 이러한 경우에는 어떻게 해결할 수 있을지 도움주시면 감사하겠습니다.
해결됨
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 우선 커리큘럼을 차례대로 재밌게 학습하고 있습니다 LLM finetuning 후 추론하는 예시를 따라하고 있는데요 아래 박스는 혹시 필요 없는 문장이 아닌가 해서 질문 드립니다 감사합니다
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
안녕하세요. 강의 잘듣고 있는 학생입니다. 이번에 프로토콜 문서를 아래와 같이 동작시키고 있습니다. chunk_size = 10000 for i in range(0, len(document_list), chunk_size): chunk_documents = document_list[i:i + chunk_size] print(i) database = call_with_backoff( Chroma.from_documents, documents=chunk_documents, collection_name="chroma-5g", persist_directory="./chroma", embedding=embedding ) 그런데 꼭 아래 에러가 발생됩니다. --------------------------------------------------------------------------- RateLimitError Traceback (most recent call last) Cell In[1], line 13 12 try: ---> 13 return function(*args, **kwargs) 14 except openai.error.RateLimitError as e: File c:\anaconda3\envs\llm\lib\site-packages\langchain_chroma\ vectorstores.py:1128 , in Chroma.from_documents(cls, documents, embedding, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1127 metadatas = [doc.metadata for doc in documents] -> 1128 return cls.from_texts( 1129 texts=texts, 1130 embedding=embedding, 1131 metadatas=metadatas, 1132 ids=ids, 1133 collection_name=collection_name, 1134 persist_directory=persist_directory, 1135 client_settings=client_settings, 1136 client=client, 1137 collection_metadata=collection_metadata, 1138 **kwargs, 1139 ) File c:\anaconda3\envs\llm\lib\site-packages\langchain_chroma\ vectorstores.py:1089 , in Chroma.from_texts(cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1088 else: -> 1089 chroma_collection.add_texts(texts=texts, metadatas=metadatas, ids=ids) ... ---> 14 except openai.error.RateLimitError as e: 15 print(f"Rate limit exceeded: {e}. Retrying in 15 seconds...") 16 time.sleep(15) chunk_size 로 나누어서 입력하면 될줄알았더니만 계속 에러가 발생해서 진도가 안나가네요. ㅜㅜ 참고로 len(document_list)는 747076이네요. 해결할 방법이 있을까요?
해결됨
RAG를 활용한 LLM Application 개발 (feat. LangChain)
chatgpt로 질문지 만드셨는데, metadata는 어떻게 만드셨나요? 좋은 강의 감사합니다.
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
from langchain_chroma import Chroma # 데이터를 처음 저장할 때 database = Chroma.from_documents(documents=document_list, embedding=embedding) 다음 코드를 실행시키면, File c:\Dev\inflearn-llm-application\lib\site-packages\langchain_chroma\vectorstores.py:1089 , in Chroma.from_texts (cls, texts, embedding, metadatas, ids, collection_name, persist_directory, client_settings, client, collection_metadata, **kwargs) 1083 chroma_collection .add_texts( ... --> 571 raise ValueError( 572 f"Batch size {len(batch[0])} exceeds maximum batch size {limits['max_batch_size']}" 573 ) ValueError : Batch size 218 exceeds maximum batch size 166 다음과 같은 error가 발생합니다. 이후 다음과 같이 batch size를 줄여서 실행시키면 from langchain_chroma import Chroma # 배치 크기 설정 batch_size = 166 # 문서 리스트를 배치 크기만큼 나누어 처리 for i in range(0, len(document_list), batch_size): batch_documents = document_list[i:i + batch_size] database = Chroma.from_documents(documents=batch_documents, embedding=embedding) 다음과 같은 오류와 함께 커널이 종료됩니다ㅠ 해결책이 있을까요?
미해결
RAG를 활용한 LLM Application 개발 (feat. LangChain)
강사님 영상 보면서 따라하고 있는데 자꾸 아래와 같은 오류가 떠서 문의드립니다. [스스로 해본 조치] 폴더를 아예 새로 만들어서 처음부터 다시 만들기 -> 실패 pip install onnxruntime 명령어로 설치 -> 실패 VScode 여러번 껐다가 재부팅 [환경] 현재 PC에 깔린 python 버전 : Python 3.11.6 가상 환경 설치 시 사용한 명령어 : python -m venv ./env 아래는 현재 코드이고 pip install 명령어는 강의 그대로 따라 했습니다. database = Chroma.from_documents(documents=document_list, embedding=embedding) -> 해당 부분 실행 시 오류가 발생합니다. from langchain_community.document_loaders import Docx2txtLoader from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1500, chunk_overlap=200 ) loader = Docx2txtLoader("./tax.docx") document_list = loader.load_and_split(text_splitter=text_splitter) ================ 다른 셀 ================ from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings load_dotenv() embedding = OpenAIEmbeddings(model="text-embedding-3-large") ================ 다른 셀 ================ from langchain_chroma import Chroma database = Chroma.from_documents(documents=document_list, embedding=embedding)
해결됨
RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
안녕하세요, 판다스님 강의를 보면서 실습 중 에러가 발생해서 문의드립니다. 실습파일은 LangChain_003_Data_Processing.ipynb 입니다. 2.4 CSV 문서에서 오류가 발생했습니다. 에러 코드는 UnicodeDecodeError : 'cp949' codec can't decode byte 0xed in position 62: illegal multibyte sequence 입니다. 혹시, 해결방법을 알고 계세요??
해결됨
[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
안녕하세요! 강사님 강의 너무 잘들었습니다. 인터넷이 끊긴 폐쇄 환경에서 강의에서의 데모 버전을 구현하려고 합니다. 허깅페이스에서 모델을 다운받아서 진행하면 될까요?
해결됨
[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
안녕하세요 코랩 실습 과정 중 하드웨어 가속기 선택할 때 V100이 비활성화 되어있을경우 어떤 것을 선택해야 하는지 문의 드립니다. 아울러 모델튜닝 실습 중 tokenizer.default_chat_template 부분에서 에러가 뜨는데 다음 단계로 넘어갈 수 있도록 하는 방법이 있을까요? 이후 패스하고 넘어간다고 해도 PEFT - LoRA부분에서도 에러가 뜹니다. 혹시 위 부분에서 pip install flash-attn===1.0.4 부분을 처리하지 않아서 오류가 난 것일까요?
