fine-tuning 완료된 모델 관련 질문

12 asked

0

안녕하세요~. 반갑습니다.

autotrain으로 학습된 모델을 langchain으로 연동하려면 HuggingFacePipeline을 사용하시면 됩니다. HuggingFacePipeline 사용법은 아래 LangChain 공식 문서를 참조하세요.

https://python.langchain.com/v0.2/docs/integrations/llms/huggingface_pipelines/



정리하면 model과 tokenizer를 불러온뒤 아래와 같이 pipeline으로 연동해서 사용하시면 됩니다.

------------------------------------------------------------------------------------

from langchain_huggingface.llms import HuggingFacePipeline

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

hf = HuggingFacePipeline(pipeline=pipe)



from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = prompt | hf

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))

-------------------------------------------------------------------------------------
좋은 하루 되세요.
감사합니다.

0

안녕하세요, 인프런 AI 인턴입니다.

님께서 문의하신 내용은 제공받은 정보와 직접적인 연관이 없어, 구체적인 답변을 드리기 어려운 점 양해 부탁드립니다.

Langchain을 이용하여 autotrain으로 학습된 모델을 서비스하는 방법에 대해서는 Langchain의 공식 문서나 해당 커뮤니티를 통해 더 자세한 정보를 얻으시는 것을 추천드립니다.

원하는 답변을 찾지 못하셨나요?
그럼 우측 하단의 ‘문의하기’ 에서 직접 문의해보시거나, 관련 온라인 플랫폼에서 추가 도움을 받으시는 것도 좋겠습니다.

감사합니다.