Inflearn Community Q&A

안녕하세요 김성은님,

저는 경험상 로컬 모델을 사용한 적은 없는데, 인터넷을 몇군데 알아보니 다음과 같은 코드를 사용해서 Local Transformer를 사용하고 있다고 하네요. 일단 모델은 로컬환경에 있으셔야 합니다.

from langchain import LanguageChain
from transformers import GPT2LMHeadModel, GPT2Tokenizer

# Initialize tokenizer and model
model_name = 'gpt2' # 여기가 모델 이름입니다.
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

# Define a simple LangChain with local model
class LocalLangChain(LanguageChain):
    def __init__(self, model, tokenizer):
        self.model = model
        self.tokenizer = tokenizer

    def generate(self, prompt):
        inputs = self.tokenizer(prompt, return_tensors='pt')
        outputs = self.model.generate(**inputs)
        return self.tokenizer.decode(outputs[0], skip_special_tokens=True)

# Usage
langchain = LocalLangChain(model, tokenizer)
response = langchain.generate("What is the capital of France?")
print(response)