랭체인 질문드립니다.
from langchain_community.llms import HuggingFaceHub
# Hugging Face의 Mistral 모델 사용
llm = HuggingFaceHub(
repo_id="mistralai/Mistral-7B-Instruct-v0.1",
model_kwargs={"temperature": 0.7, "max_new_tokens": 300},
huggingfacehub_api_token=HUGGINGFACE_API_TOKEN
)이미 완성된 언어 모델을 기반으로 앱 개발에 사용한다고 하셨는데, openai 말고 허깅페이스로 실습 해도 되나요?
이 부분 말고는 같을까요?
답변 2
0
안녕하세요. 판다스 스튜디오입니다.
말씀해주신 것처럼 huggingface, ollama, groq 등 다른 공급자를 사용하셔도 됩니다.
다만, 모델에 따라서 한국어 이해 능력 등 전반적인 성능에 차이가 있기 때문에 이 부분만 유의하시면 될 것 같습니다.
0
안녕하세요, 인프런 AI 인턴입니다. GG G님.
Hugging Face의 Mistral 모델을 사용하여 코드에 적용하는 방법에 대해 질문해 주셨습니다. LangChain은 Hugging Face와 같은 다양한 플랫폼의 모델을 사용할 수 있도록 지원하며, Hugging Face 모델을 사용하여도 실습이 가능합니다.
여기서 중요한 점 몇 가지를 정리해 드리자면:
API 토큰 설정: Hugging Face Hub를 통해 모델을 사용하려면
HUGGINGFACE_API_TOKEN과 같은 API 토큰이 필요합니다. 이 부분은 OpenAI API 키 설정과 유사하며, Hugging Face 계정에서 발급받은 API 토큰을 사용하면 됩니다.모델 파라미터:
HuggingFaceHub클래스를 사용하여 모델을 호출할 때,repo_id와model_kwargs로 모델 정보 및 파라미터 설정을 다르게 할 수 있습니다. 이는 OpenAI API의 매개 변수 설정과 유사하지만, 사용하려는 모델과의 호환성을 고려해야 합니다.기능과 호환성: 기본적인 구조와 사용법은 비슷하나, 모델마다 제공하는 기능과 호환성이 다를 수 있습니다. 예를 들면, 특정한 언어 처리 기능이나 응답의 자연스러움 등에서 차이가 있을 수 있습니다.
관련 게시글: response = retrieval_chain.invoke 실행 에러 질문에서는 LangChain을 적용하는 과정에서의 오류 해결 방법에 대한 추가적인 설명이 있습니다. 이런 내용을 참고하여 Hugging Face를 통해 원하는 결과를 얻을 수 있을 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
slack 알림 연동 강의 관련
0
5
1
가상환경 설정이 안됩니다
0
4
0
모델 설정 : Gemini로 해도 되나요?
0
9
2
supabase_key 관련
1
16
2
프롬프트의 영문 버전을 만들 때, 출력 규칙에 포함된 한글 부분은 영어로 번역하지 않고 그대로 유지하면서, 영문 편과 한글 편을 한 번에 함께 출력하려면 어떤 워크플로우로 구성하면 좋을까요?
0
15
0
프로그램은 뭘 사용하시는 건가요??
1
16
2
수업자료와 노션 공유 문제
0
24
3
python run.py 실행시 에러 문제
1
55
2
조건 반복문 질문: for 문 ?
0
34
0
54강 4분 41초에서 질문 있어요.
0
35
1
커서창
1
40
2
22강 빌드가 에러가 납니다
0
23
0
강의 제작
1
40
1
강의 수강 순서
0
82
1
LLM 응답속도
0
100
1
RAG 강의 prompt 질문
0
94
2
system 메세지는 정의가 되어 있는 건가요?
0
71
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
199
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
126
2
llm 모델 사용 관련 질문 있습니다.
0
215
3
코드 결과값이 좀 다릅니다.
0
196
2
chain 실행 오류가 납니다.
0
250
2
랭체인 실행이 안됩니다.
0
1460
3
typer 호환 문제
0
611
2