with_structured_output 함수
안녕하세요
OpenAI 를 활용해 llm 을 생성할 경우에는 with_structured_output 을 사용할 수 있는데요
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0, openai_api_key=OPENAI_KEY)
structured_llm = llm.with_structured_output(TutorialSearch)
query_analyzer = prompt | structured_llm혹시 Llma3 모델에서도 with_structured_output 를 사용할 수 있나요?
프롬프트 관련 동영상 예제에서는 거의 ChatOpenAI 를 활용하시는것 같아서요 ..
강의 재미있게 잘 듣고 있습니다
감사합니다
답변 1
0
안녕하세요~. 반갑습니다.
먼저 강의를 잘 듣고 계시다니 기쁘네요^^.
LangChain으로 Llama 3를 활용할 경우 OpenAI API처럼 Structured output 기능은 지원하지 않지만 해당 기능과 유사하게 활용할 수 있는 JSON mode라는 기능을 지원하고 있습니다. ( https://python.langchain.com/docs/integrations/chat/ollama/ 를 참조하세요.)
JSON mode 기능을 이용하면 Structured output과 유사하게 Llama 모델을 이용해서 정형화된 output을 출력할 수 있습니다.
JSON mode를 이용해서 정형화된 output을 출력하는 방법 같은 경우 아래 예제를 참고하시거나
https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_adaptive_rag_local/
혹시 [모두를 위한 대규모 언어 모델 LLM Part 5 - LangGraph로 나만의 AI 에이전트 만들기] 강의도 수강하신다면 해당 강의의 [Llama 모델을 이용해서 Adaptive RAG 시스템 만들기] 강의 영상을 참조하세요.
좋은 하루되세요.
감사합니다.
혹시 로컬llm을 활용해서 RAG를 구현하는 예제도 한번 올려주시면 안될까요?
0
957
2
검증 방법 질문입니다.
0
151
2
Quickstart 오류 - Query Analysis Quickstart 기초 예제 실습
0
257
2
docStore
0
137
0
langchain.schema가 무슨 역할을 하는지요?
0
491
2
라마 3(Llama 3)로 AI 텍스트 번역하기 실행 오류.
0
978
2
SQL 에이전트 제작 예제 프로그램과 관련하여 질문 드립니다.
0
207
2
하이퍼클로바 X 랭체인
0
391
2
ConversationSummaryBufferMemory의 max_token_limit
0
320
2
SelfQueryRetriever 사용시
0
311
2
!pip install langchain_community 문장이 필요할 것같아요(강의 2,4)
0
1262
2
memory+ Retriever +llm 질문있습니다.
0
228
1
self query retriever 한글
0
453
2
selfqueryRetriever에서 contain,like 필터링 오류문제
1
336
2
상품추천GPT에서 데이터를 바꿔 사용하는데 오류나는 이슈
1
253
2
Rag 사용시 전혀 관계없는 데이터를 가져오는 이슈
0
1293
2
bert vs gpt 의 혼란스러운 점
0
566
2
chromadb 용량
0
555
2
RAG에서 Generator으로 어떤 데이터가 들어가는지 볼 수 있는 방법이 있나요?
0
407
1
RAG 실습 강의에서 template 문구 관련해 질문이 있습니다.
0
444
2
RAG의 데이터 소스로 RDB 사용 시 어떤 로더를 사용해야 하나요?
0
2325
2
db.delete_collection() db가 정의되어 있지 않아 문의드립니다.
0
177
1
GPT api 토큰 제한
0
1738
1
Data Loader 관해서
0
305
2