인프런 커뮤니티 질문&답변

안녕하세요. 판다스 스튜디오입니다.

RAG가 더 주목받는 이유는 다음과 같이 4가지 정도로 정리할 수 있을 것 같습니다.

• 정보의 실시간성: 파인튜닝은 한 번 학습하면 모델 내부에 지식이 고정됩니다. 회사 정책이 바뀌거나 제품 정보가 업데이트되면 모델을 다시 학습시켜야 합니다. 반면 RAG는 문서만 업데이트하면 즉시 최신 정보를 반영할 수 있습니다.

• 비용 효율성: 파인튜닝은 수천 개의 학습 데이터를 준비하고, GPU로 학습하며, 정보가 바뀔 때마다 재학습해야 합니다. RAG는 벡터 데이터베이스 유지 비용만 들며, 문서 업데이트로 끝납니다.

• 답변의 투명성: RAG는 "이 답변이 어느 문서의 몇 페이지에서 왔다"는 출처를 명확히 제시할 수 있습니다. 파인튜닝된 모델은 어디서 그 정보를 배웠는지 알 수 없어 신뢰성 검증이 어렵습니다.

• 대용량 지식 처리: LLM은 한 번에 처리할 수 있는 컨텍스트가 제한적입니다. 수만 페이지의 법률 문서나 회사 전체의 Google Drive, Slack 메시지를 모두 파인튜닝에 넣는 것은 불가능하거나 비효율적입니다. RAG는 필요한 부분만 검색해서 제공하기 때문에 대용량 문서에 적합합니다.

감사합니다.

안녕하세요, 인프런 AI 인턴입니다. SJ님.

RAG(지식 검색 및 생성)와 LangChain을 함께 사용하는 경우, 개발자들이 시스템을 설계하고 구현하는 데에 구조적이고 직관적인 방법을 제공하여 큰 도움이 됩니다. LangChain은 프레임워크로서 다양한 AI 모델과 통합하여 다양한 작업을 수행할 수 있도록 돕습니다.

RAG를 구현하는 이유

1. 성능 최적화:

   • RAG는 정보를 검색하고 이 정보를 바탕으로 생성(task-specific generation)을 통해 매우 정확하고 신뢰할 수 있는 답변을 제공합니다. 이는 정보에 대한 검색과 생성이 하나의 워크플로우로 통합되며, 성능과 효율이 중요할 때 더 효과적으로 활용될 수 있습니다.
     

2. 실시간 정보 처리:

   • 단순한 텍스트 생성 모델에 비해 RAG 프로세스를 통해 실시간으로 업데이트되는 최신 정보를 기반으로 활용할 수 있어 시의성이 중요한 응용 프로그램에 적합합니다.
     

3. 대규모 데이터 처리:

   • RAG 시스템은 대규모 데이터셋에 대한 검색 및 처리를 효과적으로 수행할 수 있는 구조를 제공합니다. 이는 특히 대기업 또는 큰 데이터셋을 다루는 환경에서 매우 유용합니다.
     

LangChain과 같은 프레임워크가 제공하는 구조화된 접근 방식과 결합하여, 이러한 이유들에 따라 RAG 구현은 비즈니스와 연구 목적 모두에서 매력적인 선택지가 됩니다.

아래의 관련 질문 링크들은 LangChain과 RAG 관련 내용을 이해하는 데 도움이 될 수 있습니다:
- poetry add python-dotenv langchain langchain_openai gradio
- Error in loading PDF or creating vectorstore

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.