딥러닝이 이미지를 학습하는방법?

안녕하십니까, 

생각할 거리를 많이 던져주는 질문이군요. 

1. 딥러닝이 이미지를 학습하는 방법은 점점 레이어가 깊어 질 수록 추상화 되면서 그 물체의 전반적인 형상을 일반화해 나가는것인가요? 그래서 인간의 다양한 모습들을 학습시키면 그 개개인의 모습이 조금씩 다를지라도 인간이라고 학습하는것 처럼요

=> 레이어가 깊어질수록 전반적인 형상을 일반화하지만 그안에는 많은 변수들이 숨어 있습니다. 이미지의 질감, 엣지, 외곽선, 코너등의 다양한 요소를 학습하면서 이미지를 판별하게 됩니다. 

2. 그럼 만약 그 물체의 형상이 본질적으로 다른것들을 한 클래스로 묶을 경우는 판단할 수있나요? 예를 들면 포유류를 판단하는 비전 시스템을 만들고자 했을때 실제 포유류의 종류는 다양하지요 사슴이나 하마의 경우만 해도 많이 다른데 고래의 모습은 육상 포유동물과는 많이 다릅니다. 그럼 만약 이 모든 동물들의 사진을 하나의 클래스안에 묶어 학습하면 포유류를 제대로 인식하는 성능을 가진 모델을 만들수가있나요?

=> 만들수는 있는데, 성능이 좋을지는 의문입니다. 딥러닝 이미지 모델의 성능이 좋으려면 판별하려는 모델간의 분명한 특징 차이가 클 수록 좋습니다.  가령 침팬지와 오랑우탄을 구분하는 모델보다는 토끼와 거북이를 구분하는 모델이 더 성능이 좋습니다. 그런데 서로 다른 특징을 가진 동물 이미지를 포유류로 학습 시키면 특징이 너무 보편화되기 때문에 좋은 성능을 기대하기 어렵습니다. 

포유류를 판별하려면 포유류 이미지 뿐만 아니라, 포유류가 아닌 어류, 조류, 파충류등의 많은 이미지들도 필요합니다. 그런데 사자, 토끼, 고래와 같이 상이한 특징을 가진 이미지를 포유류로 학습 시키고, 상어를 어류로 학습 시키면 고래의 경우 오히려 어류로 판별할 가능성이 더 높습니다. 일반적인 포유류의 이미지 특징이 아니기 때문입니다. 

때문에 비슷하지 않은 이미지를 하나의 클래스로 묶어서 학습할 경우 이미지 형상 특징이 두드러지지 않으며 특히 비교하려는 다른 이미지 클래스와 혼돈이 되는 경우라면 모델 성능이 크게 떨어질수 있습니다. 

3. 이것과 이어지는 질문으로 자율주행 차량에서는 어떻게 장애물을 인지하나요? 장애물을 그 종류가 아주 많은데 그 모든 장애물들을 일일히 학습시킬까요? 아니면 묶어서 학습시킬까요? 혹은 다른 방법이 있을까요? 

=> 자율주행쪽은 제가 잘 모르지만 모든 장애물들을 일일히 학습시켜야 할 것입니다. 이유는 앞에 말씀드린 이유와 같습니다. 

감사합니다.