googlenet에서의 conv1x1와 비선형성에 대해서 질문이 있습니다

Question

안녕하세요. inceptionNet conv1x1 강의를 듣고 있습니다. 그런데 사용하는 이유 중에서 파라미터 감소 부분은 이해가 되는데, 비선형성이라는 단어가 나오면서 비선형성 특성이 두드러진다고 하셨습니다. 근데 약간 개념이 추상적이라서 제가 한 번에 와닿지는 않았는데, 보충해주실 내용이 있을까요? 추가적으로 기존에 conv1x1을 사용하면 아무래도 파라미터 수는 감소하기 때문에 바로 conv 하는 것보다 성능이 떨어질 것 같다고 생각하는데, 이 부분에 대해서는 어느정도 성능 차이가 없다고 증명은 된 것인가요?

유영재 · Answer

ResNet, EfficientNet 강의는 한 번에 뭔가 이해가 확 와닿지가 않는데, 일단 넘어가고 계속 반복해서 들어보는 것이 나을까요?

권 철민 · Answer

안녕하십니까, 1x1 conv는 매우 효율적으로 파라미터 수를 감소시켜줍니다. 어떻게 보면 현대 CNN의 형태를 구성하게 해준 중요 요소중에 하나입니다. 뒤에 ResNet에서도 말씀 드릴 텐데, Conv를 계속 적용하면 오히려 성능이 저하됩니다. ResNet은 Residual block에서 1x1 과 3x3 Conv그리고 skip connection을 이용해서 매우 깊은 네트웍 구성을 가능하게 해줍니다. 1x1 단독으로 사용된다기 보다, 1x1과 3x3 등을 결합해서 효과적으로 네트웍을 구성하는데 잘 사용됩니다. ResNet을 보시면 좀더 1x1의 효율적인 활용에 대해서 느끼실 수 있을 거 같습니다. 감사합니ㅏㄷ.