Inflearn Community Q&A
asked
fine-tuning 완료된 모델 관련 질문
Written on
·
213
0
autotrain 으로 학습이 완료 된 모델을 Langchain 을 이용하여 서비스 해보고 싶습니다.
1. autotrain 으로 학습된 모델도 Langchain 에서 사용할 수 있나요?
Langchain 에서 사용하려면 어떻게 해야할까요?
Answer 2
0
안녕하세요~. 반갑습니다.
autotrain으로 학습된 모델을 langchain으로 연동하려면 HuggingFacePipeline을 사용하시면 됩니다. HuggingFacePipeline 사용법은 아래 LangChain 공식 문서를 참조하세요.
https://python.langchain.com/v0.2/docs/integrations/llms/huggingface_pipelines/
정리하면 model과 tokenizer를 불러온뒤 아래와 같이 pipeline으로 연동해서 사용하시면 됩니다.
------------------------------------------------------------------------------------
from langchain_huggingface.llms import HuggingFacePipeline
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
hf = HuggingFacePipeline(pipeline=pipe)
from langchain_core.prompts import PromptTemplate
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
chain = prompt | hf
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))
-------------------------------------------------------------------------------------
좋은 하루 되세요.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다.
님께서 문의하신 내용은 제공받은 정보와 직접적인 연관이 없어, 구체적인 답변을 드리기 어려운 점 양해 부탁드립니다.
Langchain을 이용하여 autotrain으로 학습된 모델을 서비스하는 방법에 대해서는 Langchain의 공식 문서나 해당 커뮤니티를 통해 더 자세한 정보를 얻으시는 것을 추천드립니다.
원하는 답변을 찾지 못하셨나요?
그럼 우측 하단의 ‘문의하기’ 에서 직접 문의해보시거나, 관련 온라인 플랫폼에서 추가 도움을 받으시는 것도 좋겠습니다.
감사합니다.