인프런 커뮤니티 질문&답변

프론트엔드 개발자 입장에서 RAG를 처음 접하다 보니 구조가 잘 이해되지 않아 질문드립니다. 강의를 보다 보니 Streamlit과 LangChain으로 한 곳에서 개발이 이루어지는데, 이게 실무 구조를 단순화한 예제인지, 실제 서비스에서도 이런 형태로 운영되는지 궁금했습니다. 제가 이해한 바로는 일반적인 웹 서비스는 프론트엔드, 백엔드, 일반 DB(MySQL 등)가 분리되어 있고, 여기에 RAG를 구성하기 위한 Vector DB(Qdrant, Chroma, Pinecone 등)와 LLM 호출 로직이 추가되는 구조로 보이는데, 이때 RAG와 AI 에이전트는 보통 백엔드 서버 내부의 로직으로 구현되는지, 아니면 별도의 서비스로 분리해서 운영하는지도 알고 싶습니다.

실무에서 배포 관점에서는 백엔드 서버 하나에 RAG까지 포함해 배포하는 것이 일반적인지, 아니면 RAG나 Vector DB를 별도로 운영하는 경우가 많은지도 궁금합니다. Qdrant를 가장 추천주셔서 이걸사용할까 생각중입니다.

그리고 혹시 그래프 RAG에 대한 강의도 찍으실 예정이 있으실까요?

크게 아래와같이 보고있고(이해한 대로 플로우 그려봤습니다),
백엔드 서버는 FastAPI로 통일할수도 있을것 같습니다.

┌─────────────────────────────────────────┐
│         Frontend (React.js)                │
└─────────────────────────────────────────┘
                    │
        ┌───────────┴───────────┐
        │                       │
┌───────▼────────┐    ┌─────────▼────────┐
│  Spring Boot   │    │  FastAPI AI      │
│  (Main API)    │    │  Service         │
│                │    │                  │
│ - CRUD         │    │ - RAG Pipeline   │
│ - 비즈니스 로직   │    │ - LLM Agent     │
│ - 인증/권한      │    │ - Embedding 생성 │
└───────┬────────┘    └─────────┬────────┘
        │                       │
        │                       │
┌───────▼────────┐    ┌─────────▼────────┐
│  PostgreSQL    │    │  Vector DB      │
│  (비즈니스 데이터) │    │  (임베딩/벡터)   │
│                │    │                  │
│ - hospitals    │    │ - content_embeddings│
│ - contents     │    │ - query_cache    │
│ - bundles      │    │ - document_chunks │
│ - contracts    │    │                  │
│ - users        │    │ (Pinecone/       │
│ - ...          │    │  Weaviate/       │
│                │    │  Qdrant/         │
│                │    │  pgvector)       │
└────────────────┘    └──────────────────┘