inflearn logo
강의

Course

Instructor

Made in RAG (Local LLM Q&A System) With Docker + ollama + R2R

R2R framework lab

파일 업로드 에러

Resolved

98

ssyi4412

1 asked

0

강의 내용대로 설정하여 http://localhost:7273/documents 페이지에서 문서를 업로드하였는데, 아래와 같은 메시지가 표시되면서 업로드가 실패하였습니다.


Upload Failed

Status 500: An error "500: Error during ingestion:

OpenAl credentials not configured but openai/ model prefix used' occurred during create_document

내용 확인 부탁드립니다.
감사합니다.

docker 인공지능(ai) wsl llm

Answer 1

0

kojeomstudio

우선 해당 강의의 경우 Local LLM을 기준으로 작성된점에 따라 상용 API 활용 부분이 부족한점을 너른 양해를 부탁드립니다. (_ _)

 

상용 AI 에이전트 API를 사용하는 경우에는 credential 세팅을 필수로 해야합니다.(api 키등록)

  • credential ? 자격증명을 의미하며, 쉽게 생각해서 어떤 서비스(ex:클라우드 기능)를 사용할 때 로그인을 자연스럽게 해주는 것(또는 기능)을 의미합니다.

오픈소스 프로젝트마다 다르겠지만, 대부분 .env, .toml등 설정파일을 주로 사용할텐데요, r2r(3.6.0)기준 docker 기반 세팅의 경우 아래 내용을 참조해주세요.


compose.yaml 파일의 기본 값은 아래와 같습니다.(내용이 길어 일부만 포함시켰습니다)

r2r:
    image: sciphiai/r2r:latest
    ports:
      - "7272:7272"
    env_file:
      - ./env/r2r.env

(환경변수 파일을 컨테이너 실행 시점에 주입시키는 과정을 compose 파일에 선언한 내용입니다.)

.env 파일을 참조할 때 ./env/ 디렉터리에 있는 r2r.env를 참조합니다. 해당 파일의 내용을 일부를 보면 아래와 같습니다. ( ./env/ => compose.yaml 파일이 위치한 디렉터리안에 env 폴더 아래를 의미합니다)

# R2R
R2R_PORT=7272
R2R_HOST=0.0.0.0
R2R_LOG_LEVEL=INFO
R2R_CONFIG_NAME=
R2R_CONFIG_PATH=
R2R_PROJECT_NAME=r2r_default
R2R_SECRET_KEY=
R2R_USER_TOOLS_PATH=/app/user_tools
R2R_LOG_FORMAT=

# Postgres Configuration
R2R_POSTGRES_USER=postgres
R2R_POSTGRES_PASSWORD=postgres
R2R_POSTGRES_HOST=postgres
R2R_POSTGRES_PORT=5432
R2R_POSTGRES_DBNAME=postgres
R2R_POSTGRES_MAX_CONNECTIONS=1024
R2R_POSTGRES_STATEMENT_CACHE_SIZE=100

# Hatchet
HATCHET_CLIENT_TLS_STRATEGY=none

# OpenAI
OPENAI_API_KEY=
OPENAI_API_BASE=

보시면 OPENAI_API_BASE / KYE가 있는데요. key값의 경우 발급받으신 해당 값을 설정하시고, API_BASE의 경우 https://api.openai.com/v1/ 해당 형식으로 시작하게 될 것 입니다. 자세한 api 주소의 경우 공식 openai api 문서를 참조 바랍니다. (API Reference - OpenAI API 공식)

 

0

ssyi4412

제가 질문을 자세히 쓰지 않아서 혼선을 드렸습니다.

저도 강의 내용과 같이 로컬에 ollama를 설치해서 사용하려고 하는데, 해당 에러가 발생한 것입니다.

설정 페이지에 아래 내용이 관련이 있는 것 같아서 r2r.toml 파일의 내용을 변경하였는데, 설정 페이지 내용은 업데이트가 되지 않았습니다.

image.png

[r2r.toml]

# base_model = "openai/text-embedding-3-small"

base_model = "ollama/mxbai-embed-large"

재확인 부탁드립니다.
감사합니다.

0

kojeomstudio

강의 내용 기준 user_configs 폴더 아래 my_r2r_config.toml 내용과 같이 설정 값 세팅 되어야합니다. (embedding 섹션 하위 항목으로 provider가 있어야합니다.)

 

[embedding]

provider = "ollama"

base_model = "mxbai-embed-large"

base_dimension = 1_024

batch_size = 128

concurrent_request_limit = 2

...(이하 생략)

 

해당 config 파일은 아래 링크 참조 부탁드립니다.

https://github.com/kojeomstudio/toy_workspace/blob/main/AI/LLM/rag/r2r-3.6.0/my_r2r_config.toml

노션 사용 권한 없음

0

4

1

Google API에 Generative Language API 선택이 없습니다.

0

8

2

아무것도 안됨

0

5

1

윈 터미널의 클로드와 에디터의 터미널의 클로드에 관한 질문

0

4

1

output-styles 명령어 없어 지지 않았나요?

0

4

1

강의자료

0

7

1

Notion에서 이 페이지에 대한 사용 권한 없음

0

8

1

Serpapi 툴을 사용하려 하는데 검색이 안됩니다.

0

17

4

클로드 스킬 기능(hwpx 채우기)과 유사한 기능을 하는 다른 AI모델 문의

0

4

0

외부 프로바이더 질문이 있습니다.

0

13

2

[MISSION 7] 프로필 웹 Github 링크 제출하기 관련..

0

8

0

Compression 오류

0

8

1

mem0 메모리 등록 안되는 문제

0

17

2

커서 클로드 코드 검색창 검색 시

0

7

1

오류가 발생했는데 해결 하는 방법을 알려주세요.

0

15

1

/init 초기화 이유

0

11

0

챌린지 인증은 어디서 하나요?

0

13

1

3강에서 api 키 연결시 에러가 납니다.

0

12

2

혹시 언리얼 CEF기반 UI에서 한글 입력 오류 해결하신분??

0

14

2

Git commit 관련 질문

0

7

1

Powershell은 시스템관리자가 앱을 차단

1

11

1

/plan open 관련 질문 39강 5분 36초

0

14

1

39강 루트 용어 질문

0

9

1

강사님 ㅜㅜ QA만들기 강의가 아닌것 같아요,,

0

101

1