inflearn logo
강의

Course

Instructor

Made in RAG (Local LLM Q&A System) With Docker + ollama + R2R

R2R framework lab

파일 업로드 에러

Resolved

98

ssyi4412

1 asked

0

강의 내용대로 설정하여 http://localhost:7273/documents 페이지에서 문서를 업로드하였는데, 아래와 같은 메시지가 표시되면서 업로드가 실패하였습니다.


Upload Failed

Status 500: An error "500: Error during ingestion:

OpenAl credentials not configured but openai/ model prefix used' occurred during create_document

내용 확인 부탁드립니다.
감사합니다.

docker 인공지능(ai) wsl llm

Answer 1

0

kojeomstudio

우선 해당 강의의 경우 Local LLM을 기준으로 작성된점에 따라 상용 API 활용 부분이 부족한점을 너른 양해를 부탁드립니다. (_ _)

 

상용 AI 에이전트 API를 사용하는 경우에는 credential 세팅을 필수로 해야합니다.(api 키등록)

  • credential ? 자격증명을 의미하며, 쉽게 생각해서 어떤 서비스(ex:클라우드 기능)를 사용할 때 로그인을 자연스럽게 해주는 것(또는 기능)을 의미합니다.

오픈소스 프로젝트마다 다르겠지만, 대부분 .env, .toml등 설정파일을 주로 사용할텐데요, r2r(3.6.0)기준 docker 기반 세팅의 경우 아래 내용을 참조해주세요.


compose.yaml 파일의 기본 값은 아래와 같습니다.(내용이 길어 일부만 포함시켰습니다)

r2r:
    image: sciphiai/r2r:latest
    ports:
      - "7272:7272"
    env_file:
      - ./env/r2r.env

(환경변수 파일을 컨테이너 실행 시점에 주입시키는 과정을 compose 파일에 선언한 내용입니다.)

.env 파일을 참조할 때 ./env/ 디렉터리에 있는 r2r.env를 참조합니다. 해당 파일의 내용을 일부를 보면 아래와 같습니다. ( ./env/ => compose.yaml 파일이 위치한 디렉터리안에 env 폴더 아래를 의미합니다)

# R2R
R2R_PORT=7272
R2R_HOST=0.0.0.0
R2R_LOG_LEVEL=INFO
R2R_CONFIG_NAME=
R2R_CONFIG_PATH=
R2R_PROJECT_NAME=r2r_default
R2R_SECRET_KEY=
R2R_USER_TOOLS_PATH=/app/user_tools
R2R_LOG_FORMAT=

# Postgres Configuration
R2R_POSTGRES_USER=postgres
R2R_POSTGRES_PASSWORD=postgres
R2R_POSTGRES_HOST=postgres
R2R_POSTGRES_PORT=5432
R2R_POSTGRES_DBNAME=postgres
R2R_POSTGRES_MAX_CONNECTIONS=1024
R2R_POSTGRES_STATEMENT_CACHE_SIZE=100

# Hatchet
HATCHET_CLIENT_TLS_STRATEGY=none

# OpenAI
OPENAI_API_KEY=
OPENAI_API_BASE=

보시면 OPENAI_API_BASE / KYE가 있는데요. key값의 경우 발급받으신 해당 값을 설정하시고, API_BASE의 경우 https://api.openai.com/v1/ 해당 형식으로 시작하게 될 것 입니다. 자세한 api 주소의 경우 공식 openai api 문서를 참조 바랍니다. (API Reference - OpenAI API 공식)

 

0

ssyi4412

제가 질문을 자세히 쓰지 않아서 혼선을 드렸습니다.

저도 강의 내용과 같이 로컬에 ollama를 설치해서 사용하려고 하는데, 해당 에러가 발생한 것입니다.

설정 페이지에 아래 내용이 관련이 있는 것 같아서 r2r.toml 파일의 내용을 변경하였는데, 설정 페이지 내용은 업데이트가 되지 않았습니다.

image.png

[r2r.toml]

# base_model = "openai/text-embedding-3-small"

base_model = "ollama/mxbai-embed-large"

재확인 부탁드립니다.
감사합니다.

0

kojeomstudio

강의 내용 기준 user_configs 폴더 아래 my_r2r_config.toml 내용과 같이 설정 값 세팅 되어야합니다. (embedding 섹션 하위 항목으로 provider가 있어야합니다.)

 

[embedding]

provider = "ollama"

base_model = "mxbai-embed-large"

base_dimension = 1_024

batch_size = 128

concurrent_request_limit = 2

...(이하 생략)

 

해당 config 파일은 아래 링크 참조 부탁드립니다.

https://github.com/kojeomstudio/toy_workspace/blob/main/AI/LLM/rag/r2r-3.6.0/my_r2r_config.toml

기본 브랜치의 이름이 master에요.

0

8

1

관리자 페이지 질문

0

7

1

plans 생성이 안됩니다.

0

10

2

mia /goal 실습시.. 아웃풋 폴더

0

6

0

mia /goal 실습시 키체인 오류(맥미니)

0

6

0

메일자동 분류 문의 드립니다.

0

6

1

수업자료 문의

0

7

1

더빙에 어떤 ai가 쓰였는지 궁금합니다.

0

12

0

보안 적용에 대한 강의가 있을까요?

0

6

1

퀴즈가 강의 주제와 맞지 않아요.

0

7

0

Claude skill 과 agent, plugin 관련 질문 드려요.

0

9

1

2.3 Agentic RAG 관련 질문이 있습니다.

0

11

1

Auto-memory 기능

0

14

1

64강 context 7 관련 질문

0

13

1

Auto-memory 기능

0

13

0

55강 7분56초

0

11

0

55강 git 초기화 관련 질문이요

0

11

1

gws auth login에서 문제가 있어서 질문드립니다.

0

28

3

시스템 아키텍처를 강의에 나온 것 처럼 그리고 싶은데 공유 가능할까요?

1

16

2

PROJECT_STRUCTURE.md 파일 공유좀 해주세요

0

18

2

hostinger vps 사용중 질문입니다.

0

25

2

노션 사용권한 불편합니다.

0

14

2

클로드 코드에 붙여넣기후 편집 관련 질문입니다!

0

17

1

강사님 ㅜㅜ QA만들기 강의가 아닌것 같아요,,

0

101

1