실제 캐글(Kaggle) 문제 풀고, 제출해보며, 성능 개선 기법 익히기5 강의에서 질문입니다

실제 캐글(Kaggle) 문제 풀고, 제출해보며, 성능 개선 기법 익히기5 강의에서 질문입니다.

해당 강의 2:50 부분부터 Evaluation 코드에 관해 설명을 해주셨는데요,

with torch.no_grad() 안쪽의 코드에서는

    with torch.no_grad():
        model.eval()
        ret = None

        for img, fileid in data_loader:
            img = img.to(device)
            pred = model(img)
            ids += list(fileid) # ex) [1, 2] + [3, 4] -> [1, 2, 3, 4]

            if ret is None:
                ret = pred.cpu().numpy()

            else:
                ret = np.vstack([ret, pred.cpu().numpy()])

    return ret, ids

pred.cpu().numpy()와 같이

detach()를 따로 사용하지 않은 걸 볼 수 있었습니다.

detach()의 사용에 관해서 찾아보니,

with torch.no_grad() 블록은 역전파(gradient 계산)를 비활성화 하므로,

pred는 gradient 계산과 관련이 없기에, detach()를 따로 호출하지 않고 numpy 배열로 변환할 수 있다

라는 내용을 찾을 수 있었습니다.

그 전에 수업 시간에 보여주신 코드에서는

model.eval()

with torch.no_grad():
    for x_minibatch in x_test_batch_list:
        y_minibatch_pred = model(x_minibatch)
        print(len(y_minibatch_pred), y_minibatch_pred.shape)
        y_pred_list.extend(y_minibatch_pred.squeeze().detach().tolist())

이와 같이

with torch.no_grad() 안에서도 detach()를 사용하신 코드들을 볼 수 있었는데요,

Evaluation 단계에서 detach()의 사용이 필수적인 것인지 여쭙고 싶습니다!