안녕하세요 선생님!! 장고 엑셀다운로드 로딩에 대하여 질문드립니다

안녕하세요.

queryset을 통해 가져오는 데이터가 너무 크고 순회가 오래 걸려서, 서버의 CPU/MEMORY 자원이 부족한 것은 아닐까요? 그래서 다른 요청까지 처리에 대기가 걸리는 건 아닌가 싶습니다. 컨테이너 자원 메트릭을 확인해보시는 것이 필요해보입니다.

다음 포스팅을 참고하여 쿼리셋에 iterator를 써보시면 어떨까 싶구요.

http://raccoonyy.github.io/using-django-querysets-effectively-translate/

그리고 혹시 csv 데이터를 메모리에 모두 쌓은 뒤에 응답을 주시는 듯 한데요. 이런 방식은 서버에 너무 부담이 됩니다. 넷플릭스에서 영화 1편을 볼 때 넷플릭스 서버가 4GB의 영상파일을 모두 메모리에 올린 뒤에 응답을 준다고 생각해보세요. 4GB의 파일을 모두 메모리를 올리는 데에도 시간이 많이 걸리며, 유저 1명당 최소 4GB 이상의 메모리를 소모하게 되어 비효율적이 됩니다. 그렇게 하기보다, 지정단위(예: 4MB)로 파일을 읽자마자 유저에게 바로 스트리밍을 하는 거죠. 그리고 또 파일을 읽자마자 유저에게 스트리밍합니다. 이것이 스트리밍이죠. // 이는 파이썬 문법의 Generator에 대해서 살펴보시면 도움이 됩니다.

아래의 장고 공식 문서을 참고해보세요.

https://docs.djangoproject.com/en/4.0/howto/outputting-csv/#streaming-csv-files

그리고, View에서 너무 무거운 작업을 하시는 데요. 말씀하시는 대로 Celery와 같은 Task Queue를 통해 별도의 프로세스를 통해 처리하시는 것이 좋습니다. Celery Worker 수행에 필요한 최소한의 인자만 넘기고, 쿼리셋 로딩 등은 Celery Worker 내에서 모두 수행하시는 거죠. // 그리고 이는 다운로드로 처리하시기보다, Celery Worker 에서 모두 처리 후에 email로 발송토록 하는 것이 보다 간결하고 일반적인 프로세스일 수 있습니다. // Celery 처리와 함께 웹에서 다운로드를 하실려면, 웹프론트엔드 단에서 Worker 작업완료 체킹을 위해 Polling을 하시거나 websocket 처리가 필요할 수도 있습니다.

화이팅입니다. :-)