인프런 커뮤니티 질문&답변

from langchain_core.prompts import ChatPromptTemplate
from pydantic import BaseModel, Field
from typing import Literal


class Route(BaseModel):
    target: Literal["income_tax", "llm", "real_estate_tax"] = Field(
        description="The target for the query to answer"
    )


router_system_prompt = """
You are an expert at routing a user's question to 'income_tax', 'llm', or 'real_estate_tax'.
'income_tax' contains information about income tax up to December 2024.
'real_estate_tax' contains information about real estate tax up to December 2024.
if you think the question is not related to either 'income_tax' or 'real_estate_tax';
you can route it to 'llm'."""


router_prompt = ChatPromptTemplate.from_messages(
    [("system", router_system_prompt), ("user", "{query}")]
)

structured_router_llm = small_llm.with_structured_output(Route)


def router(state: AgentState) -> Literal["income_tax", "real_estate_tax", "llm"]:
    """
    주어진 state에서 쿼리를 기반으로 적절한 경로를 결정합니다.

    Args:
        state (AgentState): 현재 에이전트의 state를 나타내는 객체입니다.

    Returns:
        Literal['income_tax', 'real_estate_tax', 'llm']: 쿼리에 따라 선택된 경로를 반환합니다.
    """
    query = state["query"]
    router_chain = router_prompt | structured_router_llm
    route = router_chain.invoke({"query": query})

    return route.target

안녕하세요 강병진 강사님:) 혹시 위 코드에서 router_prompt없이 Route class의 Field에만 프롬프트 지침을 넣어도 문제가 없을까요? 테스트 결과는 잘 나왔습니다.

아래는 수정 코드입니다.

class Route(BaseModel):
    target: Literal["real_estate_tax", "llm", "income_tax"] = Field(description = """
    당신은 사용자의 질문을 보고 적절한 라우터를 연결해주는 전문가입니다.
    부동산에 관련된 질문은 real_estate_tax라우터를, 소득세에 관한 질문은 income_tax라우터를, 그 외의 질문은 llm라우터로 연결해주세요.
    """)

def router(state: AgentState):

    query = "역삼역 떡볶이 맛집을 알려주세요 "
    router_llm = llm.with_structured_output(Route)

    response = router_llm.invoke(query)

    return response.target

print(router({}))
>> 'llm'