인프런 커뮤니티 질문&답변
작성한 질문수
간단한 모델 서빙용으로 FastAPI를 공부하려고 합니다.
작성
·
57
·
수정됨
0
안녕하세요.
현재 팀 단위 프로젝트를 진행 중이며, Python으로 구현한 모델을 API 형태로 서빙하는 역할을 맡아 FastAPI를 공부하려고 합니다.
LLM 모델을 로드하고 추론 요청을 처리하는 모델 서버 용도로 FastAPI를 활용할 계획이며,
Spring 백엔드에서 해당 서버를 호출하는 구조를 고려하고 있습니다.
이 강의가 모델 서빙을 직접적으로 다루는 강의는 아니지만,
FastAPI에 대해 전혀 모르는 상황이라 우선 강의를 통해 기본기를 익히고자 합니다.
모델 서버 구축 목적이라면 강의에서 어떤 섹션들을 필수적으로 들어야하는지 강사님의 의견을 듣고 싶습니다.
감사합니다.
답변 1
0
권 철민
지식공유자
안녕하십니까,
모델 서버 구축을 필수 섹션을 딱 끄집어 내기는 애매하지만, 섹션 1 ~ 8까지는 들으시면 좋을것 같습니다.
그리고 Spring 으로 Backend를 구축하실 건데, LLM Inference 서버용도로 사용하기 위해서 FastAPI를 배우시고, 이를 별도로 구축을 하실 필요는 없을 것 같습니다. vLLM 같은 LLM 전문 Inference Server를 사용하시는게 더 목적에 적합할 것 같습니다(vLLM도 내부적으로는 FastAPI를 사용합니다 ^^)
감사합니다.