인프런 커뮤니티 질문&답변
작성한 질문수
PCA 2번째 주성분 추출 관련
작성
·
372
0
안녕하세요 선생님. 강의 정말 잘듣고 있습니다.
궁금한 것이 하나 있습니다.
PCA가 항상 변동성이 큰 방향으로 축을 삼고 주성분으로 분류한다고 하셨는데, 1번째 주성분을 선택하는 경우는 명확해 보입니다.
다만, 2번째 주성분을 구할때는 1번째 주성분 축의 직교가 되는 방향으로 구합니다. 직교방향이 반드시 2번째로 변동성이 큰 방향인지 궁금합니다.
3번째, 4번째 등도 직교=큰변동성 논리가 계속 유지되는지도 궁금합니다.
답변 1
1
안녕하십니까,
음. 이게 직교하면 변동성이 크다기 보다는 PCA 차원 축소는 고유 벡터들이 서로 직교하는 특성을 활용한다고 보시면 될 것 같습니다.
그러니까 공분산 행렬을 분해하면 첫번째 주성분 고유 벡터가 가장 큰 분산을 가지고 있고, 이후의 주성분 고유 벡터는 이전 고유벡터와 직교하는 특성을 활용하는 것입니다.
일반적으로 차원 축소시에는 첫번째 성분과 두번째 성분이 관계가 없도록 서로 직교하도록 구성합니다. 첫번째 주성분에는 관계가 있는 속성들을 주성분으로 모일 수 있도록 하고, 두번째 주성분은 이들과 관계가 최소가 될 수 있어야 새로운 주성분(또는 피처)로서의 역할을 수행할 수 있습니다.
이를 위해서 관계가 있는 속성끼리는 개별 주성분에 모이도록 하고, 각 주성분들 사이에는 서로 관계가 없도록 구성하게 되면서 개별 주성분은 이전 주성분과 직교하게 됩니다. 첫번째 주성분은 서로 관계가 높은 속성들로 모여 있고, 두번째 주성분은 이들과 관계가 독립적인 속성들로 구성하다보니 첫번째 주성분과 직교된 좌표 축으로 자연스럽게 변동성이 커지게 됩니다.
감사합니다.