인프런 커뮤니티 질문&답변

이성수

작성한 질문수

메이드 인 RAG(로컬 LLM QA시스템) With Docker + ollama + R2R

R2R 프레임워크 실습시간

파일 업로드 에러

작성

강의 내용대로 설정하여 http://localhost:7273/documents 페이지에서 문서를 업로드하였는데, 아래와 같은 메시지가 표시되면서 업로드가 실패하였습니다.

Upload Failed

Status 500: An error "500: Error during ingestion:

OpenAl credentials not configured but openai/ model prefix used' occurred during create_document

내용 확인 부탁드립니다.
감사합니다.

docker 인공지능(ai)wsl llm

답변 1

코점스튜디오

지식공유자

우선 해당 강의의 경우 Local LLM을 기준으로 작성된점에 따라 상용 API 활용 부분이 부족한점을 너른 양해를 부탁드립니다. (_ _)

상용 AI 에이전트 API를 사용하는 경우에는 credential 세팅을 필수로 해야합니다.(api 키등록)

credential ? 자격증명을 의미하며, 쉽게 생각해서 어떤 서비스(ex:클라우드 기능)를 사용할 때 로그인을 자연스럽게 해주는 것(또는 기능)을 의미합니다.

오픈소스 프로젝트마다 다르겠지만, 대부분 .env, .toml등 설정파일을 주로 사용할텐데요, r2r(3.6.0)기준 docker 기반 세팅의 경우 아래 내용을 참조해주세요.

compose.yaml 파일의 기본 값은 아래와 같습니다.(내용이 길어 일부만 포함시켰습니다)

r2r:
    image: sciphiai/r2r:latest
    ports:
      - "7272:7272"
    env_file:
      - ./env/r2r.env

(환경변수 파일을 컨테이너 실행 시점에 주입시키는 과정을 compose 파일에 선언한 내용입니다.)

.env 파일을 참조할 때 ./env/ 디렉터리에 있는 r2r.env를 참조합니다. 해당 파일의 내용을 일부를 보면 아래와 같습니다. ( ./env/ => compose.yaml 파일이 위치한 디렉터리안에 env 폴더 아래를 의미합니다)

# R2R
R2R_PORT=7272
R2R_HOST=0.0.0.0
R2R_LOG_LEVEL=INFO
R2R_CONFIG_NAME=
R2R_CONFIG_PATH=
R2R_PROJECT_NAME=r2r_default
R2R_SECRET_KEY=
R2R_USER_TOOLS_PATH=/app/user_tools
R2R_LOG_FORMAT=

# Postgres Configuration
R2R_POSTGRES_USER=postgres
R2R_POSTGRES_PASSWORD=postgres
R2R_POSTGRES_HOST=postgres
R2R_POSTGRES_PORT=5432
R2R_POSTGRES_DBNAME=postgres
R2R_POSTGRES_MAX_CONNECTIONS=1024
R2R_POSTGRES_STATEMENT_CACHE_SIZE=100

# Hatchet
HATCHET_CLIENT_TLS_STRATEGY=none

# OpenAI
OPENAI_API_KEY=
OPENAI_API_BASE=

보시면 OPENAI_API_BASE / KYE가 있는데요. key값의 경우 발급받으신 해당 값을 설정하시고, API_BASE의 경우 https://api.openai.com/v1/ 해당 형식으로 시작하게 될 것 입니다. 자세한 api 주소의 경우 공식 openai api 문서를 참조 바랍니다. (API Reference - OpenAI API 공식)