Django 로 이용한 머신러닝/딥러닝 서비스

안녕하세요.

웹 백엔드에서는 다양한 언어/프레임워크가 사용되어지고 있습니다. Java/Spring, Node.js, Python/Django, FastAPI, Flask, Ruby/RubyOnRails 등이죠. 팀의 문화와 선호에 의해서 선택이 되어질 것입니다.

포털이나 대형 쇼핑몰의 경우에는 웹초창기부터 사용되어져온 Java를 사용하고 있는 비율도 높구요. 장고도 다양한 회사들에게서 사용되어지고 있습니다.

하지만 하나의 회사/서비스에서 하나의 언어/프레임워크만 사용되는 것은 아니구요. 밖에서 보기에는 하나의 서비스지만, 서비스 안으로 들어가보면 다양한 서비스가 연계되어있습니다. 각각의 서비스가 다양한 언어/프레임워크로 개발이 되어질 수 있는 것이죠. 다음과 같이 대략적으로 분류를 해볼 수 있을 듯 하구요.

• End-user를 직접적인 대상으로 하는 서비스 : 요기요 (장고), 8퍼센트 (장고), 홀릭스 등
• 내부적으로 사용될 관리용 웹서비스 : 토스 (장고)
• 머신러닝 AI API 웹서비스 : 당근마켓 (파이썬), 카카오
  • 머신러닝 API를 개발하고 운영을 해야하는 데, ML 개발자들이 파이썬이 가장 익숙하기에, 파이썬으로 개발
• ML Ops 인프라를 위한 웹서비스

위에서 언급한 회사 외에도 많은 곳에서 사용이 되어지고 있습니다.

딥러닝 모델은 웹백엔드에서도 돌릴 수 있구요. 심지어 웹프론트엔드에서도 돌릴 수 있습니다. 말씀하신 병렬처리가 다수의 웹요청에서 하나의 모델을 사용하는 것을 말씀하시는 것일까요.

모델을 장고 프로세스에 같이 탑재해서 돌려볼 수도 있구요. 하지만 이는 각 장고 프로세스마다 모델을 따로 가지고 있게 되어 경우에 따라 메모리 소모가 많을 수 있구요. 별도의 프로세스에서 모델을 돌리고, 장고 View를 처리하는 프로세스에서 모델 프로세스에 요청을 하는 방식도 웹 일반적으로 많이 사용하는 패턴입니다. Task Queue라고 하구요. 보통 오래 걸리는 작업을 별도의 서버에서 돌리는 것을 이야기합니다. 장고에서는 Celery를 많이 사용합니다.

Celery : https://docs.celeryproject.org

충분한 답변이 되었을 지 모르겠습니다. 보시고 또 질문 주세요. :-)

답변감사합니다 강사님~! 각회사마다의 모집인원에 대해 보면 조금더 잘 알수 있을것을... 감사합니다.  다른 댓글 답글에서 Celery  에 대한강의도 고민중에 있으시다고 하신것같은데 ㅎㅎ 기대하겠습니다.