inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

우리를 위한 프로그래밍 : 파이썬 중급 (Inflearn Original)

안녕하세요. 파이썬에서 대용량 데이터 처리할 때 방법에 대해서 궁금한 점이 있습니다

415

이용주

작성한 질문수 9

0

안녕하세요. 기초적인 파이썬 지식만 가지다가, 이런 강의를 알게 되어서 레벨 2, 3, 4로 실력을 키우려고 하고 있습니다

그런데 현재 직면한 문제를 해결할 수 있는 방안을 알고 싶습니다

코드를 올려드리기 전에 프로그램 흐름이

반복문을 통해서 계속 append를 하게 되는데, 이 때 시스템 모니터를 보면 메모리가 올라가다가 어느 임계점에서 프로그램이 강제적으로 종료되는데, 이런 상황에서는 중간중간마다 따로 계산하거나 변수를 통해서 나눠주거나 이러한 기법들을 사용해야 할까요?

django python

답변 2

0

이용주

네 멀티 프로세싱이 궁금한데, 처리를 cpu가 나눠서 처리하는 것이고 어차피 메모리는 지속적으로 올라가는 개념이 아닌가요?

감사합니다

0

좋은사람

중간에 파일로 저장을 해서 크기를 분산시키거나

멀티 프로세싱 등을 활용해서 처리해도 될 것 같습니다.

진도미확인 (진도가 안 넘어감)

0

51

1

RuntimeError: There is no current event loop in thread 'MainThread'

0

94

1

chapter 07-01 실행 오류

0

77

1

Chapter05-04 : sum_func의 합이 이중 출력됩니다.

0

90

2

45. 병렬성 2 - Futures(5-1) wait가 의도된 대로 동작하지 않습니다.

0

108

2

멀티스레딩 - 44. 병렬성 1 - Futures(4-2)

0

79

2

chapter05_02 클로저 질문사항 !

0

60

1

LV1 설정

0

95

2

매직 메소드의 호출 방법 차이 문의

0

139

2

왜 numbers리스트를 만들때 str으로 숫자를 감싸나요?

0

106

2

스크랩핑 실습 중 Mac OS 인증서 문제

0

137

1

AsyncIO 멀티 스크랩핑 실습 예제 관련 질문

0

176

1

강의자료가 영상과 다릅니다

0

262

2

closure.cell_contents 초기화 하기 문의

0

139

2

map함수 사용 시, list변환 방법 문의

0

352

2

__mul__ 백터 * 숫지, 백터 * 백터 처리

0

149

1

del처리후 질문입니다.

0

162

1

car_list(car1,car2,car3) 인스턴스 tuple 타입 문의

0

234

1

coroutine에 대한 질문

0

250

1

제너레이터 이터레이터 질문이 있습니다.

0

258

1

atom install package search not working

0

283

1

Magic Method - Not Implemented

0

405

1

가상환경 질문!

0

410

1

병렬처리 추가 질문이 있습니다.

0

253

1