저는 R.A.G를 통한 LLM 챗봇을 개발을 하기위해 본 강의를 수강하기 시작했는데 너무 유읙합니다. 이럴 경우에도 embedding을 해서 R.A.G를 통해 retrieve가 가능한지 여쭤보고 싶어요. 데이터 크롤링 (컬럼 중에 리뷰데이터)의 데이터를 전처리해서 바로 Embedding을 통해 vector database에 넣어서 RAG를 활용할 수 있나요? 결과물에 대한 시나리오는 User가 챗봇에게 피부관련 사진 또는 문제에 대해서 고민을 입력하면 특정 논문 (강사님 강의에서 tax 파일과 같은 의미)을 기반으로 답변을 주게 되며 동시에 특정 쇼핑몰의 화장품의 리뷰들을 요약해주며 해당 제품을 추천하는 형태의 서비스입니다. 지금 생각으로는 데이터크롤링을 통해 긁어온 모든 자료들을 embedding해서 RAG할 수 있을 것 같은데 그것에 가능한지 궁금합니다.
안녕하세요 강사님 먼저 훌륭한 강의 공유해주셔서 너무 감사합니다 저는 지금 사내 위키를 크롤링해서 그 내용을 학습하고 이에 대한 내용을 GPT에게 질문했을 때 답변하는 챗봇을 개발하고 있습니다. 가이드 문서에는 이미지 파일을 통한 예시와 함께 작성된 가이드 문서가 많은데 이를 어떻게 학습시키거나 이용자에게 뿌려줄 수 있을지 궁금합니다 첨부된 GPT답변을 보시면 예제 스크린샷이라고 나오지만 제가 문제로 예상하는것은 위키가 로그인 된 사용자만 열람이 가능하기 때문에 이미지 링크 파일 또한 로그인되지 않은 상태에서는 접근이 불가능하기 때문입니다. 혹시 답변에 도움이 될까 싶어 제가 구현한 단계를 마지막으로 질문 마치겠습니다 크롤링(selenium)을 통해 wiki를 탐색하며 .txt파일로 긁어옵니다 표 같은경우 강사님 조언대로 table -> markdown code태그는 ```code``` 태그로 감싼다 image데이터의 경우 src에서 파일 링크를 추출해서 text로 변환 (ex https://cdn.inflearn.com/public/files/courses/324145/9b8f6df3-8278-446f-b0da-394371126807/inflearn_python_07.png) DirectoryLoader로 파일들을 embedding해서 벡터화 강의 따라가며 나머지 동일하게 구현
안녕하세요! 강의를 듣고 docx를 가지고 RAG 설정하는 걸 배우고나서 JSON파일을 가지고 RAG을 설정해보려고 하는데요, 이렇게 json을 로드하면 한글이 잘 출력이 됩니다. 하지만, langchain의 JSONLoader를 이용해서 load and split을 하려고 하면 해당 부분이 인코딩 되어 출력됩니다. 공식문서에서 해결방법을 찾지 못했는데, 혹시 강사님께서 해당 문제를 해결하는 방법에 대해서 알고 있으실까요?
이 오류로 클론코딩 및 스스로 코딩연습도 못하고 있습니다. git에 보니 chromadb 버전문제라고 하는데.... 그리고 강사님 강의에 환경설정들이 너무 안되는게 많아서 온전히 강의에 집중이 안되네요... 환경 설정이나 이런 부분들에 대해서 좀더 자세히 설명 바랍니다.
.env 파일 형식도 지키고 있고 환경변수를 직접 실행했을 때도 제대로 작동하지만 .env 파일에서 환경변수를 로드하는 과정에서 문제가 있는지 None이 계속 뜨면서 api키를 가지고 오지 못하는 것 같습니다.. 아무리 다시 만들어 시도해봐도 달라지지 않아 질문 남깁니다 감사합니다..!디렉토리 위치 문제인지, 가상환경 커널에서 venv커널도 뜨지 않습니다. 윈도우 사용자라면 어떻게 해결해야 할까요? 쥬피터를 사용해서 그런걸까요?
안녕하세요. 오늘도 열심히 강의 잘 듣고 있습니다. 현재 Upstage 이용해서 진행하고 있구요. 아래 코드에서 아래와 같은 오류가 떠서 질문 드립니다...! PineconeApiException : (400) Reason: Bad Request HTTP response headers: HTTPHeaderDict({'Date': 'Tue, 02 Jul 2024 05:30:59 GMT', 'Content-Type': 'application/json', 'Content-Length': '104', 'Connection': 'keep-alive', 'x-pinecone-request-latency-ms': '8478', 'x-pinecone-request-id': '8670121622045530037', 'x-envoy-upstream-service-time': '36', 'server': 'envoy'}) HTTP response body: {"code":3,"message":"Vector dimension 4096 does not match the dimension of the index 3072","details":[]} 챗 GTP 에게 물어보니, 아래와 같은 답을 주었습니다. 해당 에러 메시지는 Pinecone 데이터베이스에 벡터를 업로드하려고 할 때 발생한 것으로 보입니다. 에러 메시지에 따르면, 업로드하려는 벡터의 차원(4096)이 이미 생성된 인덱스의 차원(3072)과 일치하지 않아서 발생한 문제입니다. 다음은 이 문제를 해결하기 위한 몇 가지 단계입니다: 인덱스 차원 확인 : 인덱스를 생성할 때 지정한 차원을 확인합니다. 인덱스가 3072 차원으로 생성된 것으로 보이므로, 현재 사용하려는 벡터가 이에 맞지 않습니다. 벡터 차원 조정 : 사용하려는 벡터의 차원을 3072로 조정하거나, 현재 벡터의 차원에 맞게 새로운 인덱스를 생성해야 합니다. 인덱스 재생성 (필요시) : 새로운 차원으로 인덱스를 생성하려면 Pinecone 관리 콘솔이나 API를 통해 인덱스를 다시 생성해야 합니다.
안녕하세요. 오늘 결제 후 열심히 듣고 있습니다! (소중한 강의 만들어주셔 정말정말 감사합니다.) 다름 아니라, openAI 크레딧 유효기간이 지나 gemini 로 강의 코드를 변경하며 진행하고 있는데요, 병진님과 동일한 과정으로 openai -> google genai(model 은 gemini-pro, 변경한 클래스: GoogleGenerativeAIEmbeddings, ChatGoogleGenerativeAI ) 로 변경해 답변을 받아보았는데 답변이 썩.. 좋지가 않네요 ㅠㅠ prompt 템플릿을 작성하고 나서 답변을 받아보면 다음과 같이 답을 합니다. '제공된 문서에는 해당 질문에 대한 답변이 없습니다.' (페르소나를 명시할 때 "컨텍스트에 없으면 당신이 알고 있는 정보로 대답해주세요" 를 추가했음에도 동일하게 대답하네요..) 궁금한 점은 LLM 마다 답변 성능이 많이 차이가 날까요? openAI 가 정답일까요..?ㅠ (참고로 저희 조직에서는 GCP 기반이다보니 제미나이를 좀 써보고 싶어서요..) 감사합니다!
