Inflearn brand logo image

인프런 커뮤니티 질문&답변

Jeong님의 프로필 이미지
Jeong

작성한 질문수

RAG를 활용한 LLM Application 개발 (feat. LangChain)

2가지 질문드려 봅니다.

해결된 질문

작성

·

34

0

안녕하세요 강사님!

두 가지 질문이 있어서 글을 남겨 봅니다.

 

  1. Vector DB에 데이터를 넣기 위해서 임베딩 모델을 사용했는데 아직 실습을 따라하지 않아서 해당 모델을 사용해도 API 비용이 발생하는 것인지 궁금합니다. 또한, Upstage 외에 무료 임베딩 모델이 있는지도 궁금합니다. (실습은 OpenAI로 진행 예정이지만, 개인적으로 궁금해서 여쭤봅니다)

  2. 이거는 개인적인 질문인데 어제 GPT-OSS가 나왔는데, 20B 기준으로 로컬에서 문제 없이 돌아가더라구요. LangChain Ollama로 이 모델을 사용해서 현재 RAG 강의와 강사님 Agent강의 등 다른 강의 사용에 문제가 없을지 그리고 이 모델에 대한 견해가 궁금합니다!

답변 1

1

강병진님의 프로필 이미지
강병진
지식공유자

안녕하세요! 질문에 답변 드려보자면

  1. 임베딩 모델은 API 비용이 발생합니다. Upstage의 경우에도 임베딩 모델의 사용이 무료라기 보다는, 처음 가입하면 강의를 진행하는데 충분한 크레딧을 주기 때문에 무료라고 안내를 드린거라고 보시면 됩니다

    1. 다른 수강생 분 말씀으로는, 전체 강의를 OpenAI 모델들만 활용해서 진행했을 때 최소 금액만 충전해도 충분했다고 하시네요

  2. 저는 아직 사용해보지 않아서 의견이 있는건 아니지만, 무료로 구동할 수 있는 모델인데 충분히 속도나 성능이 나온다면 ollama를 활용해서 진행하셔도 될 것 같습니다.

Jeong님의 프로필 이미지
Jeong
질문자

오오 감사합니다!

그러면 현재로써는 완전 무료인 임베딩 모델은 없는거군요 ㅠㅠ

 

강병진님의 프로필 이미지
강병진
지식공유자

네네 ollama랑 huggingface에 있긴한데 우리말 임베딩은 성능이 많이 아쉽더라구요

Jeong님의 프로필 이미지
Jeong

작성한 질문수

질문하기