inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

선형대수학개론

6.4 The Singular Value Decomposition

least squares solution 비교

266

Hyun-Sun Cho

작성한 질문수 3

0

5장에서 배웠던

least-squares solution 과

SVC를 이용한 solution 의

장단점및 각각에 적절한 케이스가 어떤 것인지

소개를 해주시면 도음이 되겠습니다..

선형대수학

답변 1

0

조범희 (타블렛깎는노인)

우선 근본적으로는 비슷하다라고 볼 수 있습니다. Ax=b에서 b와 제일 가까운 x_hat을 찾는 것이기 때문이죠.

하지만 5장에서 배운걸 생각해본다면 x_hat이 단일로 주어진다는 보장은 없습니다.

물론 모든 x_hat이 b와 제일 가까운 least-squares solution이지만요.

SVD를 사용하게 되면, 그중에서도 제일 length가 작은 x_hat을 least-squares solution으로 주게 됩니다.

이것을 굳이 장점이라고 말하긴 어렵지만, 여러 사람들이 같은 x_hat을 내놓을 수 있겠네요.

물론 5장에서 배운걸 사용하여도 general solution형태로 같은 결과를 내놓겠지만, SVD를 사용하면 딱 하나 length젤 작은걸 던저준다고 생각하면 됩니다.

그리고 SVD를 사용하게되면, solution을 "더" 근사하는걸 시도해 볼 수 있습니다.

예를들어, singular value가 작은걸 zero singular value로 "가정"하고 Ur의 사이즈를 더 줄일 수 있습니다. (수업때 언급한 truncated SVD)

행렬 사이즈가 엄청나게 큰 경우 적절하게 작은 singluar value들을 0으로 취급하여 더 reduce시키면 컴퓨터 연산시 유리한 측면이 생길 수 있습니다.

물론 "적절하게" 잘 singular value들을 쳐내야지만, 본래의 행렬을 "잘" 근사하게 되는 것이니 그 점을 주의해야할 것입니다.

요약하자면,

SVD를 사용하면, least-squares solution중 length가 제일 작은 x_hat을 구할 수 있다.

작은 singular value들을 0으로 취급하여 reduced SVD의 사이즈를 더 줄여서 x_hat의 "근사"를 구할 수 있으며, 연산측면에서 유리할 수 있다. 물론 "적절히" 잘 줄여야한다.

이정도가 될 것 같습니다.

감사합니다.

늦게 확인했는데, 이메일로 질문주시면 더 빠른 회신이 가능합니다.

-조범희-

연습문제가 더 있을까요?

0

520

1

1.6강 Theorem 7 필요충분조건

0

523

1

23:00 면적보단 영역이란 표현이 맞지 않나요?

0

369

1

[질문] 1.5. Linear Equations in Linear Algebra 5page

1

388

1

1.1 eq(3b)질문!

0

360

1

1-1 예제2 질문

0

345

2

1.6 12페이지

0

327

2

1-5 Solution Sets of Linear Systems 질문

0

336

1

1.8 The Matrix of a Linear Transformation

0

295

1

1.1 Linear Equation 관련 질문

0

361

1

2.6 강의 질문입니다.

0

247

0

solution 헷갈리는 개념이 있어서 질문해요!!

0

231

1

1.4절 정리4 관련

0

405

2

1.5 강의속 질문입니다.

0

418

4

6.2 쿼드라틱 폼즈 질문입니다.

0

275

1

Linearly independence부분에서 Set of Two vectors 부분에서 질문 있습니다.

0

240

1

1.6 lenear independence 질문입니다.

0

238

1

Least-Squares Lines 질문

0

265

1

1.8 onto 질문입니다.

0

253

1

pivot position과 det의 관계에 대해 좀 더 자세한 설명 부탁드립니다.

0

318

1

선형결합에서 '선형'의 의미가 대체 뭔가요 ..

0

315

1

Example 1. scaling 질문

0

250

1

선수강 지식이 어떻게 되나요?

0

202

1

Inverse of partitioned matrix 관련 질문

0

233

1