안녕하세요. 파이썬에서 대용량 데이터 처리할 때 방법에 대해서 궁금한 점이 있습니다

안녕하세요. 기초적인 파이썬 지식만 가지다가, 이런 강의를 알게 되어서 레벨 2, 3, 4로 실력을 키우려고 하고 있습니다

그런데 현재 직면한 문제를 해결할 수 있는 방안을 알고 싶습니다

코드를 올려드리기 전에 프로그램 흐름이

반복문을 통해서 계속 append를 하게 되는데, 이 때 시스템 모니터를 보면 메모리가 올라가다가 어느 임계점에서 프로그램이 강제적으로 종료되는데, 이런 상황에서는 중간중간마다 따로 계산하거나 변수를 통해서 나눠주거나 이러한 기법들을 사용해야 할까요?