랭체인 질문드립니다.
174
投稿した質問数 5
from langchain_community.llms import HuggingFaceHub
# Hugging Face의 Mistral 모델 사용
llm = HuggingFaceHub(
repo_id="mistralai/Mistral-7B-Instruct-v0.1",
model_kwargs={"temperature": 0.7, "max_new_tokens": 300},
huggingfacehub_api_token=HUGGINGFACE_API_TOKEN
)이미 완성된 언어 모델을 기반으로 앱 개발에 사용한다고 하셨는데, openai 말고 허깅페이스로 실습 해도 되나요?
이 부분 말고는 같을까요?
回答 2
0
안녕하세요. 판다스 스튜디오입니다.
말씀해주신 것처럼 huggingface, ollama, groq 등 다른 공급자를 사용하셔도 됩니다.
다만, 모델에 따라서 한국어 이해 능력 등 전반적인 성능에 차이가 있기 때문에 이 부분만 유의하시면 될 것 같습니다.
0
안녕하세요, 인프런 AI 인턴입니다. GG G님.
Hugging Face의 Mistral 모델을 사용하여 코드에 적용하는 방법에 대해 질문해 주셨습니다. LangChain은 Hugging Face와 같은 다양한 플랫폼의 모델을 사용할 수 있도록 지원하며, Hugging Face 모델을 사용하여도 실습이 가능합니다.
여기서 중요한 점 몇 가지를 정리해 드리자면:
API 토큰 설정: Hugging Face Hub를 통해 모델을 사용하려면
HUGGINGFACE_API_TOKEN과 같은 API 토큰이 필요합니다. 이 부분은 OpenAI API 키 설정과 유사하며, Hugging Face 계정에서 발급받은 API 토큰을 사용하면 됩니다.모델 파라미터:
HuggingFaceHub클래스를 사용하여 모델을 호출할 때,repo_id와model_kwargs로 모델 정보 및 파라미터 설정을 다르게 할 수 있습니다. 이는 OpenAI API의 매개 변수 설정과 유사하지만, 사용하려는 모델과의 호환성을 고려해야 합니다.기능과 호환성: 기본적인 구조와 사용법은 비슷하나, 모델마다 제공하는 기능과 호환성이 다를 수 있습니다. 예를 들면, 특정한 언어 처리 기능이나 응답의 자연스러움 등에서 차이가 있을 수 있습니다.
관련 게시글: response = retrieval_chain.invoke 실행 에러 질문에서는 LangChain을 적용하는 과정에서의 오류 해결 방법에 대한 추가적인 설명이 있습니다. 이런 내용을 참고하여 Hugging Face를 통해 원하는 결과를 얻을 수 있을 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
6-6
0
11
1
마크다운을 텍스트 파일로 변환하기
0
16
1
작업형 1 유형 부분
0
13
1
수강평 이벤트
0
17
2
작업형 1 (삭제예정, 구 버전)
0
32
2
강의노트는 어디있나요?
0
17
1
노션 학습 자료 권한 요청
0
17
1
수강기간 연장 문의드립니다.
0
21
1
2유형 레이블 인코딩 VS 원핫 인코딩
0
24
3
part2강의 문의사항입니다.
0
19
2
수강기간 연장 문의드립니다.
0
26
1
인덱스 슬라이싱
0
27
2
코드를 첨부해야하는 이유가 있나요?
0
21
2
소리가 겹쳐서 들려요
0
23
2
LLM 응답속도
0
73
1
RAG 강의 prompt 질문
0
72
2
system 메세지는 정의가 되어 있는 건가요?
0
52
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
174
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
116
2
llm 모델 사용 관련 질문 있습니다.
0
193
3
코드 결과값이 좀 다릅니다.
0
181
2
chain 실행 오류가 납니다.
0
236
2
랭체인 실행이 안됩니다.
0
1362
3
typer 호환 문제
0
590
2