추가 질문

Question

Sequential을 사용하여 추가 하는 방법말고 , 
첫번째로 알려주신 내용으로 저번 질문에 층 추가를 해봤습니다.

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5) 
        self.pool1 = nn.MaxPool2d(2, 2) 
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.pool2 = nn.MaxPool2d(2, 2) 
        self.conv3 = nn.Conv2d(16, 32, 3)
        self.pool3 = nn.MaxPool2d(2, 2) 
        self.conv4 = nn.Conv2d(32, 64, 3) 
        self.pool4 = nn.MaxPool2d(2, 2) 

        self.fc1 = nn.Linear(64 * 3 * 3, 120) ##### 추가 부분
        self.fc2 = nn.Linear(120, 64) ##### 추가 부분
        self.fc3 = nn.Linear(64, 10) 

    def forward(self, x):
        x = self.pool1(F.relu(self.conv1(x))) 
        x = self.pool2(F.relu(self.conv2(x))) 
        x = self.pool3(F.relu(self.conv3(x)))
        x = self.pool4(F.relu(self.conv4(x)))
        x = x.view(-1, 64 * 3 * 3) # 5x5 피쳐맵 16개를 일렬로 만든다.
        x = F.relu(self.fc1(x)) 
        x = F.relu(self.fc2(x)) 
        x = F.relu(self.fc3(x))
        x = self.fc4(x)

        return x

net = Net().to(device) # 모델 선언

이런 오류가 발생되는데요.. 제가 어딜 잘못 했는지를 모르겠네요 ^^;;;

---------------

RuntimeError: Calculated padded input size per channel: (1 x 1). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

---------------

loss_ = [] # 그래프를 그리기 위한 loss 저장용 리스트 
n = len(trainloader) # 배치 개수

for epoch in range(10):  # 10번 학습을 진행한다.

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):

        inputs, labels = data[0].to(device), data[1].to(device) # 배치 데이터 
                
        optimizer.zero_grad()

        outputs = net(inputs) # 예측값 산출 
        loss = criterion(outputs, labels) # 손실함수 계산
        loss.backward() # 손실함수 기준으로 역전파 선언
        optimizer.step() # 가중치 최적화

        running_loss += loss.item()

    loss_.append(running_loss / n)    
    print('[%d] loss: %.3f' %(epoch + 1, running_loss / len(trainloader)))

print('Finished Training')

net = Net().to(device) # 모델 선언

딥러닝호형 · Answer

패딩 없이  conv와 maxpool을 반복적으로 사용했기 때문에 층을 거쳐갈 때마다 피쳐 사이즈가 줄어듭니다. 그런데 층을 과도하게 늘렸기 때문에 피쳐맵 사이즈가 3x3커널보다 작게 되어 작동을 안하게 된겁니다. 이미지가 작은데 층을 깊게 쌓고 싶다면 크게 두가지 방법이 있습니다. 1. 이미지 사이즈 늘리기 전처리에서 이미지 사이즈를 늘려주면 됩니다. 2. 패딩 사용하기 conv를 사용할 때 3x3필터에 stride=1일 경우 패딩 1장(padding=1)을  사용하면 사이즈가 줄어들지 않습니다. 예) nn.Conv2d(16, 32, 3, stride=1, padding=1) 3. 1x1 conv 사용하기 conv를 사용할 때 1x1필터에 stride=1일 경우 입력 크기와 출력 크기가 변하지 않습니다. 마지막으로 self.pool4에서 출력한 피쳐맵의 크기를 계산해서 64*3*3 부분들을 수정해주시면 됩니다. 이론편 참고하시면 패딩 설명하는 부분에서 이 현상을 말했을 겁니다!