langsmith 사용하지 않고 개발 가능한가요?

RAG를 활용한 LLM Application 개발 (feat. LangChain)

해결된 질문

작성

128

안녕하세요

현재 유료 결제나 외부로 API를 연동하는 것이 사내 보안 규정 상 어려운 상황입니다.

강의에 나온 대로 langchain-core 라이브러리를 활용하는 경우 core 내부에 langsmith를 쓰는 import 가 있어 langsmith를 반드시 사용 해야하는 상황입니다.

langsmith가 유료로 변경되면 API 키가 필요한 상황이라 현재 사내에서는 사용이 어려울 것 같습니다.

이런 경우 langsmith를 사용하지 않고 유사하게 기능을 구현하는 방법이 있는지 궁금합니다.

vector-database llm langchain rag openai-api

답변 2

강병진

지식공유자

안녕하세요! 좋은 질문 감사합니다. 아마 core가 디폴트로 langsmith를 설치시키지는 않을거에요. 그래도 설치가 된다고 하더라도 만약 langsmith 기능을 차단하고 싶으시다면 환경변수로 langsmith를 사용하지 않는다고 지정해둘 수 있습니다.

os.environ["LANGCHAIN_TRACING_V2"] = "false"
os.environ["LANGCHAIN_API_KEY"] = ""

그리고 만약 hub에서 프롬프트를 불러오지 못하는게 문제가 된다면, 직접 해당 기능을 수행하는 프롬프트를 작성하시고 코드를 구현하시거나, hub에서 프롬프트가 어떻게 작성되어있는지 확인하시고, 직접 ChatPromptTemplate 이나 PromptTemplate 을 통해서 구현하실 수 있습니다

예를들면 강의에서 많이 사용되는 rlm/rag-prompt 를 보면 ChatPromptTemplate 의 HumanMessage 라는 것을 확인할 수 있습니다

따라서, hub.pull()이 안되시는 경우 아래 프롬프트를 사용하시면 됩니다

from langchain_core.prompts import ChatPromptTemplate

rag_prompt = ChatPromptTemplate.from_messages([
    ('human', '''You are an assistant for question-answering tasks. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say that you don't know. Use three sentences maximum and keep the answer concise.
Question: {question} 
Context: {context} 
Answer:''')
])

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. doyoung.kim님.

사내 보안 규정 상 외부 API를 사용하는 것이 어려운 상황에서 LangSmith 없이 유사한 기능을 구현하고자 하신다면, 다음과 같은 방법을 고려해볼 수 있습니다:

오프라인 데이터 관리 및 처리: LangChain의 기능 중 데이터를 오프라인에서 처리하도록 소스 코드를 수정합니다. 이것은 데이터 처리 및 저장 기능을 직접 구현해야 함을 의미합니다.
커스텀 데이터 로더 및 저장 로직 구현: LangSmith가 특정 데이터 로딩 및 저장을 담당하고 있다면, 이를 대체할 수 있는 Python 함수나 모듈을 작성하여 데이터베이스나 파일 시스템과의 연동을 구현합니다.
대체 오픈 소스 라이브러리 활용: 기존에 LangSmith가 제공하는 기능을 대체할 수 있는 오픈 소스 프로젝트들을 찾아보는 것도 방법입니다. 예를 들어, 데이터베이스 관리 기능을 위한 SQLAlchemy 등의 라이브러리를 활용할 수 있습니다.
직접 관리형 환경 구축: API 호출이 필요한 부분을 사내에서 직접 관리하는 시스템으로 대체하는 것입니다. 예를 들어, 사내 서버에서 자체적으로 모델을 호스팅하고 필요한 기능을 RESTful API로 구현할 수 있습니다.

관련하여 LangChain의 GitHub 문서에서 좀 더 구체적인 구현 아이디어를 얻을 수 있으며, 필요 시 문서의 소스 코드와 관련된 PR 및 Issue를 참고하여 직접적인 문제를 해결하는 것도 가능합니다.

제가 제공하는 방법이 도움이 되셨길 바라며, 추가적으로 궁금한 점이 있으시면 언제든지 질문해 주세요. 저희는 질문자님의 이해를 돕고자 노력하고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

langsmith 사용하지 않고 개발 가능한가요?