inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

RAG를 활용한 LLM Application 개발 (feat. LangChain)

3.1 환경 설정과 LangChain의 ChatOpenAI를 활용한 검증

ollama설치해서 llama로 돌려도 되나요?

4

sygnap

작성한 질문수 1

0

현재 openai 쓰다가 쿼터 문제로 막혀서

업스테이지꺼 일시기간 무료 쓸려다가

 

그냥 아예 무료인 라마로 돌리면 어떨까싶어서요

 

라마도 한국어 호환 잘 되도록 버전도 있다고 해서요

 

가능할까요?

vector-database llm langchain rag openai-api

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. sygnap님!

현재 AI 모델을 사용함에 있어, 무료 사용을 고려하고 계시군요. Ollama 및 Llama 모델을 사용하는 것이 좋은 대안이 될 수 있습니다. 여기서 몇 가지 고려 사항을 말씀드리겠습니다.

  1. Llama 모델의 한국어 지원:

    • Llama 모델은 최근에 다양한 언어를 지원하도록 개선되고 있지만, 여전히 영어에 비해 한국어 처리에서 제한적인 경우가 있습니다. 한국어 성능이 완전히 확인되지 않았으므로 테스트가 필요할 수 있습니다.
  2. 무료 사용 가능성:

    • Ollama는 일부 모델을 무료로 사용할 수 있도록 하고 있으며, Llama3.1 등은 오픈소스로 제공됩니다. 그러나, 한국어 지원 여부와 해당 모델의 효율성을 직접 테스트해 보시는 것이 좋습니다.
  3. 기타 고려 사항:

    • GPU 성능 및 메모리를 고려하여 모델 선택(특히 대형 모델의 경우) 및 최적화가 필요합니다. 4090 GPU를 활용하실 예정이라면 더욱 다양한 모델을 시도해 볼 수 있을 것입니다.

더 자세한 정보나 문의사항이 있을 경우, Ollama 및 Llama 관련 문서를 참고하시거나, 추가 질문을 주시면 답변해드리겠습니다.

질문자님의 이해를 돕고자 기존에 유사한 질문과 답변을 통해 이와 관련된 정보를 제공해 드립니다. 이는 현재 베타 기능으로 일부 만족스럽지 않을 수 있음을 양해 부탁드리며, 추가적인 정보가 필요하실 경우 계속해서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다. 🙏

관련 링크들은 아래를 참고하세요:
- ollama와 라마3.1 사용 관련 토의
- Ollama로 활용 가능한 한국어 모델

질문에 대한 앤서가 되었기를 바랍니다. 감사합니다!

소득세법 docx 파일 공유 요청건

0

71

1

EXAONE 모델 불러오기 안되는 문제

0

92

2

[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유

0

116

2

강의 9에 QA관련된 import가 되지 않네요

0

113

2

🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.

1

206

1

강의와 책 관련 질문

0

89

1

문서 전처리 고민

0

114

1

RAG 배포 질문드립니다

0

100

1

강의 내용과는 별개로 궁금한 점이 있습니다

0

91

2

폐쇄망 챗봇 모델

0

97

1

AI agent 쿠폰

0

98

2

저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요

0

105

2

langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?

1

96

1

new_question에 대한 답 출력

0

77

2

랭체인 라이브러리

0

152

2

[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간

0

108

1

postgresql의 pgvector 벡터는 어떤가요?

0

352

2

doc관련

0

133

2

load_dotenv() 실행 False

0

97

1

RAG 답변 개선을 위한 정답지 활용 구조 검토 요청

0

122

2

3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.

2

415

2

강의 완료 오류

0

92

1

hub.pull 이슈

0

136

2

[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유

2

151

1