간단한 모델 서빙용으로 FastAPI를 공부하려고 합니다.
99
1 asked
안녕하세요.
현재 팀 단위 프로젝트를 진행 중이며, Python으로 구현한 모델을 API 형태로 서빙하는 역할을 맡아 FastAPI를 공부하려고 합니다.
LLM 모델을 로드하고 추론 요청을 처리하는 모델 서버 용도로 FastAPI를 활용할 계획이며,
Spring 백엔드에서 해당 서버를 호출하는 구조를 고려하고 있습니다.
이 강의가 모델 서빙을 직접적으로 다루는 강의는 아니지만,
FastAPI에 대해 전혀 모르는 상황이라 우선 강의를 통해 기본기를 익히고자 합니다.
모델 서버 구축 목적이라면 강의에서 어떤 섹션들을 필수적으로 들어야하는지 강사님의 의견을 듣고 싶습니다.
감사합니다.
Answer 1
0
안녕하십니까,
모델 서버 구축을 필수 섹션을 딱 끄집어 내기는 애매하지만, 섹션 1 ~ 8까지는 들으시면 좋을것 같습니다.
그리고 Spring 으로 Backend를 구축하실 건데, LLM Inference 서버용도로 사용하기 위해서 FastAPI를 배우시고, 이를 별도로 구축을 하실 필요는 없을 것 같습니다. vLLM 같은 LLM 전문 Inference Server를 사용하시는게 더 목적에 적합할 것 같습니다(vLLM도 내부적으로는 FastAPI를 사용합니다 ^^)
감사합니다.
Update(수정)용 모델 질문 드립니다.
0
69
2
API 라우트 설계 시 중첩 구조 분리 기준 질문
0
84
2
signed cookie 와 jwt 토큰
0
107
2
비동기처리와 멀티스레드
0
118
2
fastapi의 가능성에 대해 궁금합니다.
0
123
1
어디가 필요없는 코드인지 알아내려면....
0
78
2
nginx를 사용하고 static 설정을 하는 경우도 app.mount 설정을 해야 하나요?
0
104
2
logout 태그 관련 질문
0
53
2
안녕하세요. 질문 하나 드려도 될까요?
0
94
1
81강 한 건도 못찾았을 경우 질문
0
77
2
64강: mysql-connector-python 버전 관련
0
94
2
152번 강의에서 질문이있습니다.
0
77
2
import 자동완성
0
57
1
FastAPI + Uvicorn 환경에서 메모리 누수 관련 문의드립니다.
0
334
2
EmailStr + max_length=40 같은 경우 질문
0
107
2
item_static.html 질문
0
112
2
uvicorn으로 로컬서버 올렸으나 사내 타 컴퓨터에서 접속이 안됨
0
269
2
머신러닝 백엔드 강좌 언제나오나요?
0
138
2
db connect
0
127
2
pydantic
0
120
2
url_for
0
94
2
react
0
113
2
autoflush=false에 대해 질문 드립니다.
0
134
2
docstring이 안 먹혀요
0
95
1