Dense 쪽에서 input channel과 output channel을 똑같이 설정하는 이유가 무엇인가요?
345
작성한 질문수 44
안녕하세요
Dense(512, 512)와 같이 굳이 채널을 같게 해서 출력을 내보내는 경우의 의미가 뭔지 알 수 있나요?
512x512로 파라미터만 커지고 차원 압축 개념이 없어서 비효율적일 것 같습니다
답변 2
0
선생님 안녕하세요
현재 진행하고 있는 petfinder라는 대회에서 본 공개된 코드입니다
https://www.kaggle.com/neongen/tez-pytorch-swin-large-arcface-bcewithlogits
동물 이미지를 보고, 0-100점의 좋아요와 같은 점수를 regression하는 대회입니다
해당 코드에서 nn.Linear(512, 512, bias=False),
부분을 보고 의문이 들었습니다
감사합니다
0
음, 정확한 답은 아닐지도 모르지만,
Swin Transformer 모델의 출력을 regression을 위해서 바로 노드 1개인 Linear Layer에 바로 붙이지 않고, 좀 더 정보의 풍부함을 가지기 위해서 Linear(512, 512,,,,) layer를 추가하는 것 같습니다.
여러 batch normalization -> Linear layer -> batch normalization -> Linear Layer를 계속 연결해서 좀 더 풍부한 정보를 가질 수 있도록 만들어 주는것 같습니다.
self.neck = nn.Sequential( nn.BatchNorm1d(in_features), nn.Linear(in_features, 512, bias=False), nn.ReLU(inplace=True), nn.BatchNorm1d(512), nn.Linear(512, 512, bias=False), nn.BatchNorm1d(512) )
resize 질문
0
60
1
20251212 Kaggle 런타임에 scikit-learn 설치 실패 트러블 슈팅
0
86
1
Loss와 매트릭 관계
0
75
2
Boston 코랩 실습
0
170
2
배치 정규화의 이해와 적용 2 강의 질문
0
143
2
Augmentation원본에 적용해서 데이터 갯수 자체를 늘리는 행위는 의미가있나요?
0
151
2
Conv함수 안에 activation 을 넣지 않는 이유가 뭔지 궁금합니다.
0
212
2
소프트맥스 관련 질문입니다
0
215
1
강의 관련 질문입니다
0
161
2
residual block과 identity block의 차이
0
199
2
옵티마이저와 경사하강법의 차이가 궁금합니다.
1
251
1
실습 환경
0
171
2
입력 이미지 크기
0
256
2
데이터 증강
0
203
2
albumentations ShiftScaleRotate
0
210
1
Model Input Size 관련
0
293
1
마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??
0
206
1
일반적인 질문 (kaggle notebook사용)
0
276
2
실무에서 Augmentation 적용 시
0
346
2
안녕하세요 교수님
0
235
1
가중치 초기화(Weight Initialization) 질문입니다.
0
332
1
테스트 데이터셋 predict의 'NoneType' object has no attribute 'shape' 오류
0
412
1
학습이 이상하게 됩니다.
2
1040
2
boston import가 안됩니다
0
230
1