Dense 쪽에서 input channel과 output channel을 똑같이 설정하는 이유가 무엇인가요?

음,  정확한 답은 아닐지도 모르지만,

Swin Transformer 모델의 출력을 regression을 위해서 바로 노드 1개인 Linear Layer에 바로 붙이지 않고, 좀 더 정보의 풍부함을 가지기 위해서 Linear(512, 512,,,,) layer를 추가하는 것 같습니다.

여러 batch normalization -> Linear layer -> batch normalization -> Linear Layer를  계속 연결해서 좀 더 풍부한 정보를 가질 수 있도록 만들어 주는것 같습니다. 

self.neck = nn.Sequential(
            nn.BatchNorm1d(in_features),
            nn.Linear(in_features, 512, bias=False),
            nn.ReLU(inplace=True),
            nn.BatchNorm1d(512),
            nn.Linear(512, 512, bias=False),
            nn.BatchNorm1d(512)
        )