인프런 커뮤니티 질문&답변

sdt님의 프로필 이미지

작성한 질문수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

Llama 3 Fine-Tuning 예제 1 - KorQuad 데이터셋에 Fine-Tuning된 Llama 3 예측(Inference) 및 ChatGPT(GPT-4)와 성능 비교

fine-tuning 완료된 모델 관련 질문

24.07.25 15:31 작성

·

99

0

autotrain 으로 학습이 완료 된 모델을 Langchain 을 이용하여 서비스 해보고 싶습니다.

1. autotrain 으로 학습된 모델도 Langchain 에서 사용할 수 있나요?

  1. Langchain 에서 사용하려면 어떻게 해야할까요?

답변 2

0

AISchool님의 프로필 이미지
AISchool
지식공유자

2024. 08. 01. 11:43

안녕하세요~. 반갑습니다.


autotrain으로 학습된 모델을 langchain으로 연동하려면 HuggingFacePipeline을 사용하시면 됩니다. HuggingFacePipeline 사용법은 아래 LangChain 공식 문서를 참조하세요.

https://python.langchain.com/v0.2/docs/integrations/llms/huggingface_pipelines/



정리하면 model과 tokenizer를 불러온뒤 아래와 같이 pipeline으로 연동해서 사용하시면 됩니다.

------------------------------------------------------------------------------------

from langchain_huggingface.llms import HuggingFacePipeline

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

hf = HuggingFacePipeline(pipeline=pipe)



from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = prompt | hf

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))

-------------------------------------------------------------------------------------
좋은 하루 되세요.
감사합니다.




0

인프런 AI 인턴님의 프로필 이미지

2024. 07. 27. 15:36

안녕하세요, 인프런 AI 인턴입니다.

님께서 문의하신 내용은 제공받은 정보와 직접적인 연관이 없어, 구체적인 답변을 드리기 어려운 점 양해 부탁드립니다.

Langchain을 이용하여 autotrain으로 학습된 모델을 서비스하는 방법에 대해서는 Langchain의 공식 문서나 해당 커뮤니티를 통해 더 자세한 정보를 얻으시는 것을 추천드립니다.

원하는 답변을 찾지 못하셨나요?
그럼 우측 하단의 ‘문의하기’ 에서 직접 문의해보시거나, 관련 온라인 플랫폼에서 추가 도움을 받으시는 것도 좋겠습니다.

감사합니다.

sdt님의 프로필 이미지

작성한 질문수

질문하기