Feature Map이 여러개인 경우 SPP Layer로 어떻게 들어가는 지?

Question

Q1. Feature Map이 여러개인 경우 SPP Layer로 어떻게 들어가는 지 궁금합니다.  Feature Map이 한개인 경우, 아래와 같은 Layer가 될 것 같은데 여러개이면  어떻게  SPP Layer가 구성되는 것인가요? SPP Layer : [ Selective search1, Selective search2, ... , Selective search2000] Q2. 기존에  SPM(Spatial Pyramid Matching)과 SPP를 배울 때, 여러개의 Level 단위에서 피쳐를 추출하고 이를 합쳤는데  SPP Layer의  Selective search1도  Selective search1 = [level0, level1, level2] 이런 식으로 된 것인가요? CNN하고 매핑하기에는 뭔가 애매한 부분이 있어서 질문드립니다. (CNN -> Pooling 이런 식으로 적용된 것인지 아니면 제가 놓친 부분이 있는 것인지 질문드립니다.)

권 철민 · Answer

안녕하십니까, 1. feature map이 여러개라는 의미를 제가 살짝 이해하지 못했습니다. 원래 feature map이 채널 기준으로 보면 여러개 입니다(가령 256 channel 하지만, 이걸 여러개라는 의미로 질문하신건 아닌것 같습니다만). 이걸 의미하시는게 아니고 혹 앞에 있는 feature map 들을 의미하시는 거라면 일단, 맨 마지막 feature map을 기준으로 spp layer가 만들어집니다. 아니면 여러가지 유형의 feature map을 의미하신거라면, SPP는 분면에 따라 분할에 기반하여 feature vector를 만들기에 어떠한 크기의 feature map이 와도 동일한 output을 출력할 수 있습니다. SPP Layer : [ Selective search1, Selective search2, ... , Selective search2000] 인데 각각이 feature map의 채널만큼 가지고 있습니다. 그리고 feature map이 어떻게 되어 있든 분할 기준으로spp를 위한 feature vector를 만듭니다. 레벨 0은 1, 레벨 1은 4분면, 레벨 2는 16분면 그리고 이들을 모두 합해서 21개가된 veature vector를 만들게 됩니다. 2. Selective search1은 level0(1분면) + level 1(4분면) + level 2(16분면) 그리고 이들을 모두 합해서 21개로 구성된 feature vector가 만들어집니다.그리고 이들이 classification layer로 연결됩니다.  감사합니다.