least squares solution 비교

우선 근본적으로는 비슷하다라고 볼 수 있습니다. Ax=b에서 b와 제일 가까운 x_hat을 찾는 것이기 때문이죠.

하지만 5장에서 배운걸 생각해본다면 x_hat이 단일로 주어진다는 보장은 없습니다.

물론 모든 x_hat이 b와 제일 가까운 least-squares solution이지만요.

SVD를 사용하게 되면, 그중에서도 제일 length가 작은 x_hat을 least-squares solution으로 주게 됩니다.

이것을 굳이 장점이라고 말하긴 어렵지만, 여러 사람들이 같은 x_hat을 내놓을 수 있겠네요.

물론 5장에서 배운걸 사용하여도 general solution형태로 같은 결과를 내놓겠지만, SVD를 사용하면 딱 하나 length젤 작은걸 던저준다고 생각하면 됩니다.

그리고 SVD를 사용하게되면, solution을 "더" 근사하는걸 시도해 볼 수 있습니다.

예를들어, singular value가 작은걸 zero singular value로 "가정"하고 Ur의 사이즈를 더 줄일 수 있습니다. (수업때 언급한 truncated SVD)

행렬 사이즈가 엄청나게 큰 경우 적절하게 작은 singluar value들을 0으로 취급하여 더 reduce시키면 컴퓨터 연산시 유리한 측면이 생길 수 있습니다.

물론 "적절하게" 잘 singular value들을 쳐내야지만, 본래의 행렬을 "잘" 근사하게 되는 것이니 그 점을 주의해야할 것입니다.

요약하자면,

SVD를 사용하면, least-squares solution중 length가 제일 작은 x_hat을 구할 수 있다.

작은 singular value들을 0으로 취급하여 reduced SVD의 사이즈를 더 줄여서 x_hat의 "근사"를 구할 수 있으며, 연산측면에서 유리할 수 있다. 물론 "적절히" 잘 줄여야한다.

이정도가 될 것 같습니다.

감사합니다.

늦게 확인했는데, 이메일로 질문주시면 더 빠른 회신이 가능합니다.

-조범희-