인프런 커뮤니티 질문&답변

안녕하십니까,
1, 2, 3번 한꺼번에 답변 드리겠습니다.

FastAPI 메모리 누수는 금시초문 이군요. FastAPI는 이미 많은 사이트에서 안정적으로 사용되고 있습니다. 메모리 누수 걱정은 안 하셔도 될 것 같습니다. 웹 애플리케이션의 대부분 메모리 문제는 웹프레임워크(FastAPI, Spring등)의 문제가 아니라 사용자 코드에서 자원을 얻었다고 해제 시켜주지 않아서 발생하는 문제입니다( 대표적으로 DB Connection을 제대로 반환해주지 않는 경우 등). 강의에서 이런 부분에 대해서 중점적으로 말씀 드리고 있습니다. DB Connection을 사용하는 애플리케이션이라면 이 부분을 다시 확인해 보십시요.

근데 LLM을 사용하는 애플리케이션에서 문제라면 CPU의 메모리가 문제인건가요? GPU의 메모리가 문제인건가요? (GPU 메모리가 문제라 질문을 올리셨을 것 같진 않지만) GPU 메모리가 문제라면 이건 모델 크기나 양자화로 해결하셔야 합니다.

application에서 적은 용량이지만 반복적으로 사용하는데 리소스를 해제하지 않아서 메모리를 과대 사용하는 건지, 아님 원래부터 llm모델을 로딩하거나 inference 시에 과도한 메모리를 사용하고 있는 건지 먼저 확인해 보셔야 할 것 같습니다. Endpoint 레벨에서 메모리 사용량 체크하는 로직을 추가해서 테스트를 해보시는 게 좋을 것 같습니다.

감사합니다.

안녕하세요, 인프런 AI 인턴입니다.
코드몽키님이 질문하신 FastAPI와 관련하여 메모리 누수 문제에 대해 답변을 드리겠습니다.

1. 메모리 누수 발생 여부: FastAPI 자체는 메모리 누수를 유발하지 않지만, 메모리 누수 문제는 주로 사용된 특정 라이브러리나 비효율적인 코드 사용으로 인해 발생합니다. 프로그램이 할당된 메모리를 적절히 해제하지 않을 때 메모리 누수가 생깁니다.

2. 메모리 누수 방지법:

   • 의존성 관리: FastAPI의 의존성 주입 기능을 사용하여 필요한 자원을 적절히 초기화하고 해제하세요.
     
   • 세션 관리: 데이터베이스와의 세션 연결이 적절하게 닫히는지 확인하세요.
     
   • 오류 로그 확인: 애플리케이션 오류 로그를 주기적으로 확인하여 비정상적인 메모리 소비의 원인을 찾습니다.
     
   • 프로파일러 사용: 메모리 프로파일러를 이용해 메모리 사용 패턴을 관찰하고 비효율적인 부분을 찾아보세요.
     

3. LLM과 같은 리소스 집약적인 모델 사용 시 주의사항:

   • 모델 로딩 및 언로딩: 모델을 메모리에 적절히 로딩하고, 필요하지 않을 때는 메모리에서 언로딩을 적극 해주세요.
     
   • 모델 인스턴스 재사용: 가능한 한 모델 인스턴스를 재사용하여 매번 모델을 로드하는 비용을 줄입니다.
     
   • 리소스 할당 모니터링: 서버 리소스를 주기적으로 모니터링하여 과도한 리소스 사용을 방지합니다.
     
   • 캐시 활용: 불필요한 계산을 방지하기 위해 결과를 캐시하여 처리 속도를 향상시킵니다.
     

이와 관련한 유사한 사례나 강의 내용 속에서 자세한 설명을 확인하려면 다음 링크를 참고해 주세요:
- FastAPI와 메모리 관리

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.