묻고 답해요

173만명의 커뮤니티!! 함께 토론해봐요.

가상환경이 보이질않아요

미해결

프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용

poetry 설치를 통한 가상환경이 생성되었는데, 커널선택시보이질않아요 ㅜㅜ

챗봇
gradio
chatgpt
llm
langchain
openai-api

동휘김 2024-04-08T06:38:13.644Z 댓글 4 좋아요 0 조회수 531

from crewai import Agent, Task, Crew, Process 부분에서 ModuleNotFoundError 오류가 발생합니다.

해결됨

프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용

안녕하세요. # CrewAI 라이브러리에서 필요한 클래스 가져오기를 실행하면, from crewai import Agent, Task, Crew, Process 이 부분에서 'ModuleNotFoundError' 에러가 발생합니다. pyproject.toml 파일 수정 후 패키지 설치도 했고, 커널 설정도 커널 설정도 했는데 왜 이런걸까요? 현재 맥북에서 해당 프로젝트를 진행중에 있고, 이전까지는 별다른 문제 없이 진행했는데 이번엔 이유를 알 수 없는 문제가 생겨서 이렇게 질문 드립니다. 감사합니다.

챗봇
gradio
llm
langchain
openai-api

legoyo 2024-04-05T03:56:39.078Z 댓글 1 좋아요 0 조회수 417

2-8 fully connected NN answer 코드 중 torch.nn.Linear 질문드립니다!

해결됨

딥러닝 이론 + PyTorch 실무 완전 정복

안녕하세요. 강의 잘 듣고있습니다 :D 아래 코드에서 torch.nn.Linear에 해당하는 부분이 강의서 말씀해주신 aggregation에 해당되는 부분일까요? 편의상 bias 벡터는 생략된걸까요..? class Model(torch.nn.Module) : def __init__(self) : super(Model, self).__init__() self.layers = torch.nn.Sequential( # 첫번째 레이어 torch.nn.Linear(in_features = 128, out_features = 64, bias = True), # 첫번째 레이어의 activation 함수 torch.nn.Tanh(), # 두번째 레이어 torch.nn.Linear(in_features = 64, out_features = 16, bias = True), # 두번째 레이어의 activation 함수 torch.nn.Tanh(), # 세번째 레이어 torch.nn.Linear(in_features = 16, out_features = 1, bias = True), # 세번째 레이어의 activation 함수 torch.nn.Sigmoid() ) def forward (self, x) : return self.layers(x)

딥러닝
pytorch
NLP
컴퓨터-비전
cnn
rnn
transformer
llm

nanki 2024-04-02T05:18:21.566Z 댓글 1 좋아요 1 조회수 387

windows powershell에서 poetry 설치 시, Python이라는 문구만 뜨고 설치가 진행이 되지 않습니다.

해결됨

프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용

안녕하세요. poetry 설치 시 다음과 같이 python이라고만 뜨고 다음으로 넘어가지 않아 질문 드립니다. 위 사진처럼 설치가 되지 않는데 어떤 문제가 있는지 찾지 못하여 질문 남깁니다. 감사합니다.

챗봇
gradio
llm
langchain
openai-api
poetry

이밀 2024-04-01T07:12:15.253Z 댓글 2 좋아요 0 조회수 678

ToTensor와 DataLoader관련질문드립니다!

미해결

딥러닝 이론 + PyTorch 실무 완전 정복

안녕하세요! 이론적 이해가 아직까지는 잘되나 코드에서 잘 이해가 가지않는 부분이 있어 질문드립니다~ ToTensor에서 왜 0~255를 0~1값으로 스케일링 하는 이유는 무엇인가요? DataLoader 에서 데이터를 미니배치로 넘기면 가로,세로 길이가 32로 바뀌는 이유는 무엇인가요? squeeze 함수를 찾아보니 길이가 1인 차원이 없는 행 백터, 열백터, 스칼라 배열을 삭제한다고 하는데, 아래에서 사용되는 이유는 무엇인가요? train_features, train_labels = next(iter(train_dataloader)) # train_features.size()는 64개로 세분화된 미니배치 크기, 채널, 가로, 세로 길이를 보여준다. print("Feature batch shape : {}".format(train_features.size())) # train_labels.size()도 미니배치 크기만큼 있는 것을 확인할 수 있다. print("Labels batch shape : {}".format(train_labels.size())) img = train_features[0].squeeze() # squeeze() 길이가 1인 차원이 없는 행 백터, 열백터, 스칼라 배열을 삭제한다. label = train_labels[0] plt.imshow(img.permute(1,2,0)) plt.show print("Label : {}".format(labels_map[label.item()]))

딥러닝
pytorch
NLP
컴퓨터-비전
cnn
rnn
transformer
llm

nanki 2024-03-26T06:24:52.497Z 댓글 2 좋아요 1 조회수 311

Rag 사용시 전혀 관계없는 데이터를 가져오는 이슈

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기

안녕하세요 rag를 공부하고 실제로 테스트를 하기위해서 open ai를 사용하여 서비스 이름과 서비스 담당자 관련한 정보가 존재하는 csv 데이터를 아래처럼 임베딩 한 뒤 index_name = "manager" # CSV 파일 로딩 loader = CSVLoader(file_path="manager.csv", encoding="utf-8") docs = loader.load() # text_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=0) # docs = text_splitter.split_documents(documents) embedding_model= OpenAIEmbeddings(openai_api_key=OPENAI_KEY) vectorstore = ElasticsearchStore( embedding=embedding_model, index_name=index_name, es_url=es_url ) vectorstore.add_documents(docs) 데이터는 아래 형태로 embedding 하여 text에 들어가 있습니다. 이름: (서비스 이름) 메인 담당자: 개발 담당자: 정(XXX) 부(XXX, XXX, XXX, XXX) SE 담당자: 정(YYY3) 부(ZZZ) DBA 담당자: 아래처럼 프롬프트를 작성하고 rag를 사용하여 relevant_document를 통하여 확인하면, 실제로 text에 들어가있는 데이터를 안가져오고 엉뚱한 데이터를 가져오거나 실제로 관련 담당자가 text에 포함되는 데이터가 여러개가 실제로 존재하더라도 한 개만 가져오고 나머지는 엉뚱한 document만 가져오는 경우가 많은 것 같습니다. rag_prompt = """ You are an expert AI on a question and answer task. Use the "Following Context" when answering the question. If you don't know the answer, reply to the "Following Text" in the header and answer to the best of your knowledge, or if you do know the answer, answer without the "Following Text". If a question is asked in Korean, translate it to English and always answer in Korean. Following Text: "주어진 정보에서 답변을 찾지는 못했지만, 제가 아는 선에서 답을 말씀드려볼게요! **틀릴 수도 있으니 교차검증은 필수입니다!**" Following Context: {context} Question: {question} Helpful Answer:""" prompt = ChatPromptTemplate(input_variables=['context', 'question'], messages=[HumanMessagePromptTemplate(prompt=PromptTemplate( input_variables=['context', 'question'], template= rag_prompt)) ]) # LLM from langchain.chains import RetrievalQA from langchain.chat_models import ChatOpenAI llm = ChatOpenAI(model_name="gpt-3.5-turbo-0125", temperature=0, openai_api_key=OPENAI_KEY) retriever = vectorstore.as_retriever( search_type="similarity", return_source_documents=True ) resp = retriever.get_relevant_documents("XXX가 담당하는 서비스 알려줘") print(resp) 혹시나 엉뚱한 document를 안가져오고 해당되는 값이 포함되는 document만 가지고 올 수 있도록 할 수 있는지 여쭤봅니다! 정리하자면 1:n으로 연관되어있는 내용에서 1에 대한 정보를 물어보면 내용을 잘가져오는 것 같은데 n에 대한 질문을 하면 정보를 전혀 못가져 오는 것 같은데 이를 해결하는 방법론이 있을지 여쭤봅니다!

chatgpt
llm
langchain

밈밍이 2024-03-24T15:07:20.099Z 댓글 2 좋아요 0 조회수 1331

강의 슬라이드 공유가 가능할까요?

미해결

모두를 위한 대규모 언어 모델 LLM Part 3 - 구글 제미나이(Google Gemini) API, OpenAI API와 젬마(Gemma)로 AI 어플리케이션 만들기

LLM Part 1 과 Part 2 는 강의 슬라이드를 공유해 주셨는데 Part 3 는 강의 슬라이드가 없어서 문의드립니다.

딥러닝
streamlit
gemini
multimodal
chatgpt
llm
openai-api
gemma

빛나는봄 2024-03-18T15:06:57.518Z 댓글 1 좋아요 0 조회수 264

bert vs gpt 의 혼란스러운 점

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기

google 는 트랜스포머의 인코더 bert 모델로 채팅서비스를 만들고, openai 는 트랜스포머의 디코더 gpt 모델로 채팅서비스를 만들었다고 들었습니다. 그런데 내가 궁금한것은 bert 모델(판단모델)은 판단을 하는 역할을 하고, gpt 모델은 대화를 생성(생성모델)하는 모델인데, 두 모델중 하나만 가지고 어떻게 각각의 회사가 채팅서비스를 만들었나요?

chatgpt
llm
langchain

도도마 2024-03-18T06:29:20.902Z 댓글 2 좋아요 0 조회수 616

Fine-tuning 모델 성능 지표

미해결

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

llama2 를 fine-tuning 했을때, 다른 모델들 처럼 f1 스코어나 혹은 다른 성능 지표를 이용해 성능을 정량화 할 수 있나요? 어떤 방법이 있고 어떻게해야 fine-tuning 한 모델의 성능을 정량적으로 지표화 할 수 있을까요?

딥러닝
pytorch
chatgpt
llm
llama

sdt 2024-03-18T00:17:16.356Z 댓글 2 좋아요 0 조회수 802