실리콘밸리 엔지니어와 함께하는 랭체인(LangChain)과 랭그래프(LangGraph) 그리고 MCP
from langchain_community.utilities import SQLDatabase from langchain_community.utilities.sql_database import SQLDatabase vscode 에서 extension이 SQLDatabase를 코드를 수행할때는 상관없는데, 에디터상에서 인지못하는 문제가 있었어요 그런데 sql_database라는 패키지명까지 붙이니 해결되었습니다
안녕하십니까? 결측값 채우기 중 최빈값 관련해서,, m = X_train['workclass'].mode()[0] 여기서 mode()과 mode()[0]의 차이는 무엇인지요? 즉 [0]의 쓰임이 무엇인지? 다른 중앙값, 평균 등은 이런게 없는데 왜 최빈값만 이런게 뒤에 붙는지요?
실리콘밸리 엔지니어와 함께하는 랭체인(LangChain)과 랭그래프(LangGraph) 그리고 MCP
from langchain_openai import OpenAI llm = OpenAI(model="davinci-002") OpenAI 라이브러리 import 하는 방식과 text-devinci-003 모델이 이제 서비스를 안하는 것 같습니다. 위처럼하고 몇번 수행하니 같은 결과가 나왔습니다.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
안녕하세요, 다시 질문드릴 것이 있어 글 남깁니다. RAG에서 Retriever가 Generator에 보내는 데이터가 무엇인지 확인해보고 싶고, Generator에서도 중간에 어떤 데이터를 받는지 확인해보고 싶은데 가능한 방법이 있다면 알려주시면 좋겠습니다.. 아마 제가 보낸 쿼리에 대한 similarity search의 결과를 줄 것같긴한데, 정말 generator들어가기 전에 어떤 데이터가 들어가는지 뜯어보고 싶어서요. 감사합니다.
1.위의 그림에서 weight가 정규분포(Gaussian distribution)를 따르기 때문에 각 layer의 input의 분포도 정규분포를 따른다고 말씀해주셨는데 그 이유가 궁금합니다.. 2.표준화(Z~N(0,1))를 위해서는 확률분포가 정규분포여야 한다고 알고 있습니다.. 그래서 batch normalization의 위의 식에서 x가 정규분포를 가져야 한다고 생각했는데 학습 데이터셋은 직접 정규분포를 가지게 넣는다고 가정하더라도 그 다음에 있는 convolutional layer의 weight가 gradient descent에 의해 업데이트 되어 더이상 정규분포를 따르지 않으면 출력값이 정규분포를 따르지 않을수도 있지 않을까요...?
안녕하세요. 선생님 수업을 통해 크롤링까지는 성공했습니다. HTTP POST 요청으로 받아왔는데요. 다만 Response가 넥사크로에서 사용하는 "SSV"형식으로 왔습니다. SSV:UTF-8 ErrorCode:string=0 ErrorMsg:string= Dataset:ds_PageList _RowType_ TAXNO:string(255) TAXIDX:string(255) MEMBNAM:string(255) TSDATE:string(255) TSTIME:string(255) ACQBID:string(255) CARD_NAME:string(255) HID:string(255) ACQHID:string(255) TERMID:string(255) MTRCNO:string(255) CDNO:string(255) AUTHNO:string(255) ISTMMON:string(255) CURRCODE:string(255) AMT1:bigdecimal(25) AMT2:bigdecimal(25) AMT3:bigdecimal(25) ACQDATE:string(255) DDCEDI:string(255) ...... <생략> 이렇게 못생긴 데이터가 왔는데요. 이걸 json으로 파싱하고싶어서요. 이리저리 혼자서 아스키코드 찾아보고 US, RS 사용해서 어떻게든 파싱은 했는데, 제가 짠 로직이 맞나 싶어서요. (일단 작동은 되는데.. ) 혹시 선생님이라면 어떻게 하실까 싶어서요. 이런걸 잘 파싱하려면 알고리즘을 공부해야되는걸까요? 아! 그리고 깃헙에 혹시 라이브러리가 있나 찾아봤는데요. 안나오더라구요. 이게 제일 슬펐어요. 그나저나 저런거 만드는 사람들은 정말 괴물같네요.. 저런걸 도대체 어떻게 만드는 걸까요? (코드가 본문에 저렇게 붙여넣어지는 기능도 신기하네요.. 저런건 또 어떻게 만드나요?)
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
RAG 실습 강의에서 template = """다음과 같은 맥락을 사용하여 마지막 질문에 대답하십시오. 만약 답을 모르면 모른다고만 말하고 답을 지어내려고 하지 마십시오. 답변은 최대 세 문장으로 하고 가능한 한 간결하게 유지하십시오. 항상 '질문해주셔서 감사합니다!'라고 답변 끝에 말하십시오. {context} 질문: {question} 도움이 되는 답변:""" 템플릿 문구 맨 아래에 '도움이 되는 답변:' 이 부분은 왜 필요한 건가요?? 모델이 생성해주는 답변에 어떤 방식으로 도움이 되는 걸까요??
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
안녕하세요 강의 잘 듣고 있습니다. RAG방식과 관련해 현업에서는 실제 어떻게 사용하는지 알고 싶어 여쭤봅니다. 데이터 소스로 RDB를 사용하고 싶은 경우 어떤 로더를 사용해 연동을 하나요?? DB와 직접 연동은 힘들고 해당하는 데이터를 파일도 별도로 추출하여 사용해야 할까요?? 구글링하여도 벡터 디비를 사용하는 방식만 나와 답답해서 질문 드립니다 ㅠㅠ langchain에서 지원하는 로더 대신에 사용하는 외부 모듈이 존재할까요?? aws와 같은 퍼블릭 클라우드의 s3나 엘라스틱 서치를 데이터 소스로 하여 사용하고 싶은 경우는 어떻게 설정하는 것이 좋을지 문의 드립니다. 보통 S3 버킷을 데이터 소스로 하여 정의할 때 s3를 호스팅하여 urlLoader를 이용해 사용하는 방식을 많이 차용하나요? aws의 ElasticSearch를 검색 시스템으로 사용하고 싶은데, 참고할 만한 힌트가 있을까요?... 해당 모듈을 바로 직접적으로 import해서 vectorDB대신 사용하는 것인지, 혹은 ES를 데이터 소스로하여 데이터롤 로드해서 vectorDB에 넣고 사용하는 것인지 감이 잘 잡히지 않습니다 ㅠ
9강 [실습] PyTorch 기초 - Tensor 강의에서 질문 있습니다. Lesson/inflearn_practicals 폴더에 아무 파일도 들어있지 않은데, 폴더가 원래 구성이 되어 있는 것이 아니고 파일을 직접 다운로드해서 폴더를 알아서 구성하는건가요? Jupyter notebook 상에서 강사님처럼 section이 모두 뜨지 않아 질문 드립니다.
6-5 섹션에서 Loss를 W(3)로 미분한 결과( = tW(3))를 계산하는 수식에 관련해서 질문이 있습니다..! 위의 사진과 같이 계산을 해보았는데 결과가 tW(3)이 아닌 2tW(3)으로 나오게 되었습니다.. Jacobian 개념이 생소하여 제대로 계산을 하였는지 잘 모르겠어서.. 혹시 계산에서 잘못된 부분을 알려주실 수 있을까요...??
학습 관련된 질문 같아서 남깁니다. 다름이 아니라 아이폰15프로맥스에서 모바일 인프런 영상 재생시 무한 버퍼링이 걸리면서 영상 재생이 되질 않습니다 다른 강의 영상들은 잘 재생되는데 현재 딥러닝 강의만 영상 재생이 안됩니다. 유일하게 3강 Window 환경설정 영상만 재생이 잘 됩니다 혹시 무한 버퍼링을 없애는 해결 방법을 알 수 있을까요
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요! 강의 잘 보고 있습니다. llama2 fine-tuning 시 label이 붙은 데이터에 대한 fine-tuning을 하는 내용만 있는데 (supervised learning) label이 없는 text 데이터에 대해 unsupervised learning 방식으로 fine-tuning 하는 방법이 있을까요? 또한 fine-tuning 이후 checkpoint를 기존 pretrained LLM에 통합해서 나만의 LLM을 생성하는 방법에 대해서도 궁금합니다. 새해 복 많이 받으세요. 감사합니다.
