질문 드립니다 - 딥러닝 구현에 optimizer 추가하기 부분 -> detach 메서드

threshold = 0.1
learning_rate = 0.1
iteration_num = 0

# loss를 이용해서 gradient descent update
# loss 가 threshold 밑으로 내려가면 loop 중지 
while loss > threshold:
    iteration_num += 1
    
    # 갱신된 미분값을 이용해서 W와 b 업데이트
    W = W - learning_rate * W.grad
    b = b - learning_rate * b.grad    
    print (iteration_num, loss, z, y)

    # detach_() : 텐서를 기존 방향성 비순환 그래프(DAG; Directed Acyclic Graph)로부터 끊음
    # .requires_grad_(True) : 연결된 Tensor 로부터의 계산된 자동미분 값을, 다시 현 텐서부터 시작하도록 만듬
    # 기존 그래프에서 끊어낸 후 기억한 자동 미분값을 이용해서 현 텐서부터 갱신할 수 있게 함 
    # 미분을 계산한 이후 DAG로 부터 왜 detach를 한 후 requires_grad를 다시 해야하는지..? 정확히 이해가 잘 안감
    W.detach_().requires_grad_(True)
    b.detach_().requires_grad_(True)
    
    # 갱신된 미분값을 이용해서 예측값과 loss 값 갱신 => 갱신된 loss를 이용해서 미분값 다시 계산 
    z = torch.matmul(x, W) + b
    loss = F.mse_loss(z, y)
    loss.backward()

print (iteration_num + 1, loss, z, y)

detach 메소드가 깊은 복사 시 신경망으로부터 텐서를 분리하는 것은 이해가 갑니다..!

    W.detach_().requires_grad_(True)

    b.detach_().requires_grad_(True)

미분을 계산한 이후 DAG로 부터 왜 detach를 한 후 requires_grad를 다시 해야하는지..?

처음에 require_grad가 되어 있으니

매번 미분 값 계산할 때마다 grad가 갱신되기 때문에

굳이 detach로 분리를 해야하는지

해당 부분이 이해가 잘 안갑니다.

-> 강사님의 다음 강의를 듣고 이해했는데

제가 이해한 것이 맞는지 확인받고 싶습니다

• 매 iteration마다 loss에 대한 각각 은닉층 노드들에 대한 가중치를 계산해주는데

• detach를 안하면 전의 기울기 계산한 기록에 새로운 iteration 계산분이 누적된다.

• 즉 미분 식이 누적되서 해당 iteration 값이 아닌 과거 iteration 미분식까지 가져와서 다른 미분값이 산출되어버림

• 매 iteration마다 기울기 계산 값이 누적되지 않도록 detach를 통해 끊어내 주는 것