inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

메이드 인 RAG(로컬 LLM Q&A시스템) With Docker + ollama + R2R

R2R 프레임워크 실습시간

파일 업로드 에러

해결된 질문

123

이성수

작성한 질문수 1

0

강의 내용대로 설정하여 http://localhost:7273/documents 페이지에서 문서를 업로드하였는데, 아래와 같은 메시지가 표시되면서 업로드가 실패하였습니다.


Upload Failed

Status 500: An error "500: Error during ingestion:

OpenAl credentials not configured but openai/ model prefix used' occurred during create_document

내용 확인 부탁드립니다.
감사합니다.

docker 인공지능(ai) wsl llm

답변 1

0

코점스튜디오

우선 해당 강의의 경우 Local LLM을 기준으로 작성된점에 따라 상용 API 활용 부분이 부족한점을 너른 양해를 부탁드립니다. (_ _)

 

상용 AI 에이전트 API를 사용하는 경우에는 credential 세팅을 필수로 해야합니다.(api 키등록)

  • credential ? 자격증명을 의미하며, 쉽게 생각해서 어떤 서비스(ex:클라우드 기능)를 사용할 때 로그인을 자연스럽게 해주는 것(또는 기능)을 의미합니다.

오픈소스 프로젝트마다 다르겠지만, 대부분 .env, .toml등 설정파일을 주로 사용할텐데요, r2r(3.6.0)기준 docker 기반 세팅의 경우 아래 내용을 참조해주세요.


compose.yaml 파일의 기본 값은 아래와 같습니다.(내용이 길어 일부만 포함시켰습니다)

r2r:
    image: sciphiai/r2r:latest
    ports:
      - "7272:7272"
    env_file:
      - ./env/r2r.env

(환경변수 파일을 컨테이너 실행 시점에 주입시키는 과정을 compose 파일에 선언한 내용입니다.)

.env 파일을 참조할 때 ./env/ 디렉터리에 있는 r2r.env를 참조합니다. 해당 파일의 내용을 일부를 보면 아래와 같습니다. ( ./env/ => compose.yaml 파일이 위치한 디렉터리안에 env 폴더 아래를 의미합니다)

# R2R
R2R_PORT=7272
R2R_HOST=0.0.0.0
R2R_LOG_LEVEL=INFO
R2R_CONFIG_NAME=
R2R_CONFIG_PATH=
R2R_PROJECT_NAME=r2r_default
R2R_SECRET_KEY=
R2R_USER_TOOLS_PATH=/app/user_tools
R2R_LOG_FORMAT=

# Postgres Configuration
R2R_POSTGRES_USER=postgres
R2R_POSTGRES_PASSWORD=postgres
R2R_POSTGRES_HOST=postgres
R2R_POSTGRES_PORT=5432
R2R_POSTGRES_DBNAME=postgres
R2R_POSTGRES_MAX_CONNECTIONS=1024
R2R_POSTGRES_STATEMENT_CACHE_SIZE=100

# Hatchet
HATCHET_CLIENT_TLS_STRATEGY=none

# OpenAI
OPENAI_API_KEY=
OPENAI_API_BASE=

보시면 OPENAI_API_BASE / KYE가 있는데요. key값의 경우 발급받으신 해당 값을 설정하시고, API_BASE의 경우 https://api.openai.com/v1/ 해당 형식으로 시작하게 될 것 입니다. 자세한 api 주소의 경우 공식 openai api 문서를 참조 바랍니다. (API Reference - OpenAI API 공식)

 

0

이성수

제가 질문을 자세히 쓰지 않아서 혼선을 드렸습니다.

저도 강의 내용과 같이 로컬에 ollama를 설치해서 사용하려고 하는데, 해당 에러가 발생한 것입니다.

설정 페이지에 아래 내용이 관련이 있는 것 같아서 r2r.toml 파일의 내용을 변경하였는데, 설정 페이지 내용은 업데이트가 되지 않았습니다.

image.png

[r2r.toml]

# base_model = "openai/text-embedding-3-small"

base_model = "ollama/mxbai-embed-large"

재확인 부탁드립니다.
감사합니다.

0

코점스튜디오

강의 내용 기준 user_configs 폴더 아래 my_r2r_config.toml 내용과 같이 설정 값 세팅 되어야합니다. (embedding 섹션 하위 항목으로 provider가 있어야합니다.)

 

[embedding]

provider = "ollama"

base_model = "mxbai-embed-large"

base_dimension = 1_024

batch_size = 128

concurrent_request_limit = 2

...(이하 생략)

 

해당 config 파일은 아래 링크 참조 부탁드립니다.

https://github.com/kojeomstudio/toy_workspace/blob/main/AI/LLM/rag/r2r-3.6.0/my_r2r_config.toml

강의자료와 md파일 문의

0

2

1

스크립트에 대해 질문 있습니다.

0

5

0

같은 사용자가 연속된 중복 호출할 경우 어떻게 되는지 궁금합니다!

1

8

1

VPS 환경에서 webhook 구성시 차이점.

0

12

2

speckit이나 kiro에 비해 어떤 점이 차이가 있는지

0

10

1

기초실습 BERT파인튜닝 예제 오류

0

6

0

54강 양자화의 끝판왕, 터보퀀트 (예정) 강의 업로드

0

7

1

Claude 발음

0

10

1

24번 수업에 나온 창은 무슨 프로그램인가요

0

12

1

Desktop모드-header영역 제작에서 제공해드린 폰트와 이미지

0

7

1

클로드 로그인 후 승인창이 안떠요

0

11

1

61강 claude.local.md 변경사항 관련 질문

0

14

3

블로그에 학습 내용 올려도 되나요?

0

12

1

Search를 들어가면 brave search가 없습니다.

0

8

2

Fal.ai에 기존 AI를 끌어오는것은 안되는건가요?

0

7

1

텔레그램에 메세지 보내기

0

7

1

DESIGN.md 파일이 잘못되었어요

1

23

1

github

0

29

2

강의자료를 받고 싶어요

0

31

2

Lecture19 강좌pdf파일이 없네요..

0

21

1

모터와 모터 드리이브 쪽 영상이 이상해요

0

24

2

mission 4 실행중 같은 질분 반복

0

28

2

이거 지금 부터 들어도 괜찮을까요 ?? 시간이 꽤지난거같은데 .. 뭐 최신하고 아에 안맞을까요 .

0

20

1

강사님 ㅜㅜ QA만들기 강의가 아닌것 같아요,,

0

110

1