human-in-the-loop질문드립니다

Question

안녕하세요! human-in-the-loop에 대해서 질문드립니다. 랭그래프에서 워크플로우를 정의할 때, LLM응답 후 reivew 작업을 노드에 추가하여 human-in-the-loop를 구현할 수 있다고 이해하였습니다. 이때, LLM응답이라는 작업이 끝나지 않아도(응답이 stream으로 생성되는 도중에도) 사람이 review할 수 있도록 구현할 수 있을까요? 생성되던 응답을 일시 정지 시키고, 응답 history를 토대로 tool이나 args를 변경시킬수 있을지 궁금합니다.

제이쓴 · Answer

안녕하세요, 저는 개인적으로 해본적은 없습니다. 아래 링크에서 보시면 다른 사람들이 시도해본 케이스가 있는데요 https://forum.langchain.com/t/how-to-use-human-in-the-loop-with-stream-mode-messages/1627 질문하신 부분은 서비스 구현의 영역인 것 같습니다. gemini나 chatgpt 경우 deep research를 실행하면, 최초 질문 이후에 실행 계획을 사람에게 컨펌받거나, 추가적인 context를 요구하는 방식으로 human-in-the-loop를 구현하고 있는데요, 그들도 답변이 생성되는 중에 사용자에게 컨펌을 요구하지는 않습니다. 만약 streaming 중에 사람의 개입을 구현해야만 한다면, 특정 키워드를 flag로 활용하고, 해당 키워드가 나오면 human-in-the-loop을 트리거하는 방향으로 진행할 수는 있을 것 같은데, 시도해 본 적은 없습니다 ㅠ

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 허준성님. human-in-the-loop 과정에서 LLM 응답이 스트리밍되는 도중에도 사람의 리뷰를 추가하는 방법에 대해 질문하셨습니다. 이는 AI 응답 중단과 즉각적인 피드백 제공을 통해 전체 프로세스를 조절할 수 있는 복잡한 기능을 논하고 있습니다. 응답 중단 및 리뷰 추가 : LLM 응답 중간에 stream을 멈추고, 사용자의 피드백을 가능하게 만들기 위해서 모델이 응답을 제공하는 방식과 통신 방식에 긴밀한 통제가 필요합니다. 일반적으로는 AI 응답 자체가 완전히 수행된 후에 사람이 개입할 수 있습니다. 리뷰 기반 조정 : 응답을 중단했을 때, history를 점검하고, 필요한 경우 특정 tool이나 argument를 변경하시는 것은 시스템 보완 및 지속적 개선 측면에서 중요합니다. 이러한 기능을 구현하려면 stream 제어와 응답 중에 사용자의 입력을 받아 시스템 상태를 조절할 수 있는 구조가 필요합니다. 기술적 한계 : 다만, 현시점에서 많은 시스템이 사람의 적극적인 인터랙션, 특히 스트리밍 형태의 동적 체계를 완벽하게 지원하는 데 제한이 있을 수 있습니다. 일부 프로토타이핑 도구와 맞춤형 개발이 필요한 부분이라고 볼 수 있습니다. 관련 질문에 대한 다른 사용자들의 경험은 아래 URL에서 확인할 수 있습니다: “human-in-the-loop로 AI 답변 리뷰 및 조정하는 법” 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.