RAG 강의 prompt 질문

Question

학습 관련 질문이 있으시면, 상세하게 남겨주세요. 문제가 발생한 부분의 코드를 함께 올려주세요. 수업 영상 몇 분/초 구간인지 알려주세요. 10분 56초 부분에서 prompt 작성코드를 보면 text형식으로 작성되어있고 ChatPromptTemplate을 사용하고 있는데 지난 강의에서는 ChatPromptTemplate 은 message list형식으로 작성한다고 하셨었습니다. ChatPromptTemplate은 그냥 PromptTemplate과 달리 from_template을 사용하면 일반 text 형식 prompt도 처리가 가능한 구조인건가요? 그런거라면 굳이 PromptTemplate을 사용해야하는 이유가 있나요? ChatModel 이 아니라 LLM 일 경우는 ChatPromptTemplate.from_template으로 작성한 prompt는 동작하지 않는 건가요? RAG는 LLM이 아니라 ChatModel을 사용해야하는 이유가 뭔가요? LLM과 ChatModel의 차이를 multi-turn 처리 가능 여부로 보면 될까요?

jiakim7701 · Answer

답변감사합니다.
그러면 ChatModel은 message list 형식과 text 형식의 prompt 를 모두 지원한다는 걸로 보이는데
실질적으로 LLM과 ChatModel의 차이는 뭔가요?
LLM을 써야하는 case들이 아직 존재하는지 어떤 모델들에 해당되는지가 궁금합니다

pdstudio · Answer

안녕하세요. 판다스 스튜디오입니다. PromptTemplate은 레거시 호환성을 위해 존재하며, 현재는 ChatPromptTemplate 사용을 권장하고 있습니다. 모든 최신 모델(GPT-4, Claude, Gemini 등)이 ChatModel 인터페이스를 지원하므로, ChatPromptTemplate을 사용하는 것이 좋습니다. 다만, ChatPromptTemplate 또한 PromptTemplate의 template 메소드를 지원하기 때문에, 혼동이 있을 수 있습니다. 다시 한번 말씀드리면, LLM이 발전하면서 ChatModel 인터페이스가 표준으로 자리잡고 있기 때문에, 가능한 ChatModel 인터페이스 기준으로 사용하는 것이 좋습니다.