안녕하세요. 질문있습니다.

Question

증강기법쪽 강의를 들으면서 이미지 제너레이터가 나왔는데요 ㅎㅎ

만약 증강기법을 안쓴다고 하면 이미지 제너레이터를 안써도 상관없을까요??

file을 읽어와서 batch로 만들어 준다는 점에서 제너레이터를 썼을때 안썼을때가 차이가 많이 나는지요??

연구하고 있는 분야에서 대용량 파일을 읽어올때 제너레이터를 쓰지 않고 강의 앞부분의 방식으로

데이터를 불러서 numpy array로 변형해서 사용하고 있는데 이것을 제너레이터로 바꿔야 효율적인지 고민입니다. ㅎㅎ

Answer

안녕하십니까,

증강하고는 상관없이 이미지 데이터의 건수가 많거나 사이즈가 크면 generator를 쓸수 밖에 없습니다. 왜냐하면 GPU 메모리에 한계가 있기 때문입니다.

모든 이미지 데이터를 CPU/GPU 메모리에 올릴 수는 있지만, 이 경우는 데이터 건수가 메모리에서 처리할 수 있도록 작아야 합니다.

Generator는 전체 이미지를 다 메모리로 올리지 않고 배치 단위로 이미지를 메모리에 올려서 딥러닝 모델에 입력하기 때문에 메모리 용량을 상대적으로 작게 잡아먹습니다.

감사합니다.