BiFPN 질문

Question

안녕하세요 강사님 눈높이에 맞는 쉬운 설명에 강의를 들을 때마다 감탄을 하며 잘 듣고 있습니다. BiFPN을 듣는 중 궁금한 점이 생겨 질문을 남깁니다. Downsampling이나 Upsampling이 일어나는데 보통 컨볼루션을 거칠 때 h, w, c 이렇게 세 가지의 값을 가지는데 단순히 크기를 키운다고 해서 채널값은 맞지 않을 것으로 판단이 되는데 Upsampling이나 Downsampling 시에 convolution을 한 번 더 거쳐서 채널 수를 맞춰주는 형태로 진행이 되나요? 만약에 맞다고 하면은 그 때에도 활성함수를 통과시키는 형태로 진행될까요? 만약 활성함수를 통과한다면, NIN(Network In Network)이 중간에 차원감소를 통해 연산량을 확보하고 비선형 함수를 한 번 더 통과하여 성능을 높일 수 있는 것으로 알고 있는데, FPN이랑은 차이가 딱히 없어보이고 굳이 따진다면 차원감소의 목적만 좀 빠진 거 같은데 제가 맞게 이해한 걸까요?

권 철민 · Answer

안녕하십니까, 음, 이 부분도 좀 더 설명을 드렸으면 좋을 것 같았다는 아쉬움이 드는군요. 충분히 헷갈릴 수 있는 것 같습니다. upsampling해서 합친다는게 채널 레벨로 합친다는 것입니다. 그러니까, 24x24x12 를 upsampling해서 48x48x12 로 만들었다면 48x48x24(channel)을 concat 하면 48x48x36 으로 합쳐지게 됩니다. 그래서 별도의 CNN을 할 필요는 없습니다. 감사합니다.