랭체인 질문드립니다.
from langchain_community.llms import HuggingFaceHub
# Hugging Face의 Mistral 모델 사용
llm = HuggingFaceHub(
repo_id="mistralai/Mistral-7B-Instruct-v0.1",
model_kwargs={"temperature": 0.7, "max_new_tokens": 300},
huggingfacehub_api_token=HUGGINGFACE_API_TOKEN
)이미 완성된 언어 모델을 기반으로 앱 개발에 사용한다고 하셨는데, openai 말고 허깅페이스로 실습 해도 되나요?
이 부분 말고는 같을까요?
답변 2
0
안녕하세요. 판다스 스튜디오입니다.
말씀해주신 것처럼 huggingface, ollama, groq 등 다른 공급자를 사용하셔도 됩니다.
다만, 모델에 따라서 한국어 이해 능력 등 전반적인 성능에 차이가 있기 때문에 이 부분만 유의하시면 될 것 같습니다.
0
안녕하세요, 인프런 AI 인턴입니다. GG G님.
Hugging Face의 Mistral 모델을 사용하여 코드에 적용하는 방법에 대해 질문해 주셨습니다. LangChain은 Hugging Face와 같은 다양한 플랫폼의 모델을 사용할 수 있도록 지원하며, Hugging Face 모델을 사용하여도 실습이 가능합니다.
여기서 중요한 점 몇 가지를 정리해 드리자면:
API 토큰 설정: Hugging Face Hub를 통해 모델을 사용하려면
HUGGINGFACE_API_TOKEN과 같은 API 토큰이 필요합니다. 이 부분은 OpenAI API 키 설정과 유사하며, Hugging Face 계정에서 발급받은 API 토큰을 사용하면 됩니다.모델 파라미터:
HuggingFaceHub클래스를 사용하여 모델을 호출할 때,repo_id와model_kwargs로 모델 정보 및 파라미터 설정을 다르게 할 수 있습니다. 이는 OpenAI API의 매개 변수 설정과 유사하지만, 사용하려는 모델과의 호환성을 고려해야 합니다.기능과 호환성: 기본적인 구조와 사용법은 비슷하나, 모델마다 제공하는 기능과 호환성이 다를 수 있습니다. 예를 들면, 특정한 언어 처리 기능이나 응답의 자연스러움 등에서 차이가 있을 수 있습니다.
관련 게시글: response = retrieval_chain.invoke 실행 에러 질문에서는 LangChain을 적용하는 과정에서의 오류 해결 방법에 대한 추가적인 설명이 있습니다. 이런 내용을 참고하여 Hugging Face를 통해 원하는 결과를 얻을 수 있을 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
pd.get_dummies()가 bool로 반환
0
0
0
대응표본검정 레빈
0
14
2
단일표본검정 문제 유형
0
16
2
[작업형 3] 6~7. 카이제곱 검정
0
15
2
시스템 아키텍처를 강의에 나온 것 처럼 그리고 싶은데 공유 가능할까요?
1
11
2
9회 작업형3 문제 1-1
0
19
2
최종답안 계산 방식 질문
0
14
1
PROJECT_STRUCTURE.md 파일 공유좀 해주세요
0
14
2
맥북에서 아이패드로 연결해서 보려고 하면 화면이 안뜹니다.
0
2
1
시험 치기 전 급하게 질문 사항
0
24
2
노션 사용권한 불편합니다.
0
12
2
유형3
0
23
2
작업형 2 연습문제 섹션 3
0
18
2
강의 수강 순서
0
66
1
LLM 응답속도
0
90
1
RAG 강의 prompt 질문
0
85
2
system 메세지는 정의가 되어 있는 건가요?
0
64
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
188
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
123
2
llm 모델 사용 관련 질문 있습니다.
0
212
3
코드 결과값이 좀 다릅니다.
0
194
2
chain 실행 오류가 납니다.
0
242
2
랭체인 실행이 안됩니다.
0
1416
3
typer 호환 문제
0
601
2