데이터 의존성 / NMF와 SVD
575
작성한 질문수 63
수강 후 두 가지 궁금한 점이 생겨 질문 드립니다.
1. 데이터 의존성이 관련성?과 비슷한 의미인가요?
정확히 어떠한 의미인지 궁금합니다.
2. NMF와 SVD의 차이에 대해서 궁금합니다
두 가지 기법 모두 하나의 원본행렬을 분해하여 잠재 요소를 추출해 내는 것으로, NMF는 두 개의 행렬로 SVD는 세 개의 행렬로 분해한다는 것은 알겠으나 그 차이에서 발생하는 다른 점이 무엇인지 궁금합니다.
예를 들어 NMF가 아닌 SVD로 세 개의 행렬로 분해하는 것의 목적과 효과는 무엇인지, 어떠한 경우에는 NMF를 사용하고 어떠한 경우는 SVD를 사용하는 것인지 알고 싶습니다.
답변 4
0
PCA, NMF 모두 SVD를 응용합니다. Topic 추출, 이미지 압축을 통한 분류(이미지의 핵심만 추출하여 이를 기반으로 얼굴들을 분류)하는 용도로 NMF, SVD모두 사용됩니다. 다만 어떤 차원 축소를 했느냐에 따라 조금씩 결과가 달라집니다. 추천 시스템에서는 보통 SVD를 적용합니다. 토픽 추출의 경우 SVD기반의 LSA방식 보다는 NMF 기반으로 추출하는 경향이 더 많습니다.
0
1. 데이터 의존성이 높다는 것은 행렬간 데이터들이 특정 값에 기반해서 만들어지는 경우가 있다는 것입니다. 행렬 안에 10개의 벡터가 있을 때 특정 벡터가 다른 벡터를 기반으로 만들어 질 수 있다면 서로 독립적인 벡터가 아니라 매우 종속적인 벡터입니다.
SVD는 독립적인 특이 벡터를 추출합니다. 때문에 특정 벡터가 다른 벡터를 기반으로 만들어지면 분해되는 특이 벡터 갯수가 상대적으로 적습니다
이를 시뮬레이션 하기 위해서 행렬의 3번째 로우를 첫번째 + 두번째 로우로, 4번째 로우는 첫번째 로우와 같도록 구성해서 행렬 내에 3번째 로우와 4번째 로우는 1, 2번째 로우와 데이터 의존성이 높게 구성한 것입니다.
2. NMF, SVD 모두 차원 축소에 사용되며, 이들을 응용한 기법으로 NMF의 경우 보통은 텍스트에서 Topic를 추출하는데 많이 사용됩니다. 보통 텍스트를 vectorization하게 되면 굉장히 많은 차원(많은 피처들로 구성)으로 구성되게 되는데 이때 NMF를 적용해서 텍스트 내에 Topic을 추출하는데 사용됩니다. 또한 이미지의 압축에도 사용이 됩니다. 보통은 Eigen-face라고 해서 PCA 압축된 Face 변환으로 얼굴 인식기법을 적용하지만, NMF로 압축된 Face 변환으로 얼굴 인식기법을 적용하기도 합니다.
SVD는 행렬 분해의 중요한 뼈대입니다. 머신러닝에서는 주로 추천 시스템을 구성할때 SVD를 통한 행렬 분해를 통해서 사용자가 사지 않은 물품중에 최적 물품을 추천합니다.(물론 이미지 압축 기반의 패턴 인식과 LSA 토픽 모델링 기법에도 사용됩니다)
감사합니다.
0
답변 감사드립니다.
그렇다면 topic추출이나 추천시스템과 같이 상황에 따라 NMF와 SVD 중 어떠한 것을 쓸지 구분하고 결정하는 것인가요?
즉, NMF와 SVD의 기능은 큰 차이가 없으나 상황에 따라 무엇을 쓸 지 결정하는 것인가요?
안녕하세요 열심히 수강중인 학생입니다
0
58
2
정수 인덱싱
0
65
2
넘파이 오류
0
83
2
11강 numpy의 axis 축 질문 드립니다.
0
84
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
76
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
68
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
73
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
62
2
5강 강의 오류가 있어요.
0
81
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
71
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
67
3
파이썬 다운그레이 후 사이킷런 재설치
0
115
2
좋은 강의 감사합니다.
0
70
2
scoring 함수 음수값
0
66
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
98
2
분류 평가 정확도 예측
0
75
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
96
1
카카오톡 채널 있나요
0
104
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
187
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
169
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
145
2
실루엣 스코어..
0
82
2
float64 null 값 처리 방법
0
99
2