안녕하십니까 선생님

안녕하십니까,

단일 회귀든, 다중 회귀든 다 선으로 이해하시는게 더 도움이 될 것 같습니다.

선형 회귀는 feature가 몇개로 구성되던 (몇 차원 공간이던지) 이들 feature 상에 분포되어 있는 데이트들을 관통하는(잘 설명하는) 일반적인 선형식을 찾아내는 것입니다. 그래서 선형회귀는 x1w1 + x2w2 + x3w3와 같은 개별 feature들과 개별 회귀 계수의 선형 결합으로 구성되어 있습니다. 

그런데 모든 데이터들을 이렇게 피처들과 회귀 계수의 선형적인 결합으로는 설명할 수가 없는 경우들이 있습니다. 그렇다고 선형 회귀의 특성인 회귀계수의 선형 결합을 깨뜨릴수는 없어서, Polynomial features 같은 방법이 나왔습니다. 즉 피처들을 추가적으로 만들되 기존 feature들을 다항식형태로 새롭게 만들어서 선형식에 비선형적인 효과를 줄수 있도록 만드는 것입니다.

1. 피쳐가 한개인 데이터가 비선형적으로 나온 경우 polynomialFeatures를 통해 피쳐를 임의로 늘려준다고 배웠습니다. 그렇다면 다항회귀도 결국 피쳐가 늘어난 다중회귀라고 생각되는데,  그럼 degree를 엄청 높이면 공간상에 저희가 알수 없는 고차원의 것으로 회귀된다고 보면 되나요?

=> 알수 없는 고차원의 것으로 회귀된다는 의미를 정확히 이해하지는 못했습니다만,,,,

일단 degree를 엄청 높이시면 안됩니다. overfitting되서 성능이 엄청 떨어집니다. 기존 데이터에 약간의 비선형적인 성질(feature)만 추가하자는 것이 다항 회귀의 목표 입니다.  근데 질문의 의도가 수학의 고차원과 물리학의 공간을 의미하신다면, 저도 뭐라 답해야 할지 잘 모르겠지만, 너무 추상적(고차원적)으로 생각하지 않으셨으면 좋겠습니다.

그리고 2번 질문도 1번 질문과 연관되어서 정확히 뭐라 답변을 드리기가 어렵지만, 아뭏튼, feature들은 1개든, 다차원(여러개의 feature들)인 환경에서 단일 회귀, 다중 회귀 모두 선으로 개념을 생각해 주시고, 다항 회귀는 곡선적인 개념으로 생각해 주시면 좋을 것 같습니다.  선형 회귀는 다차원 공간(feature)상에 있는 데이터 분포를 관통하는 선(또는 곡선)을 찾는 것이라고 개념적으로 생각해 주시면 좋을 것 같습니다.

감사합니다.

감사합니다.  

제가 너무 수학적으로 생각한거 같습니다. 고차원적이라고 말씀드렸던게 만약 다중회귀로 피쳐가 두개면 평면, 피쳐가 3개면 공간(?), 피쳐가 많아지면 알수 없는 무언가(??) 로 회귀가 된다고 생각을 했습니다. 

근데 다항회귀에서 degree를 높인다는게 결국 피쳐가 많아지는 다중 회귀라고 생각을 했었어서.. 후에 나오는 degree가 높을시 overfitting 되는 경우도 피쳐가 여러개일때 공간에 알수없는 무언가가 그려지면 그때 x1 관점에서만 보기에 구불구불한 곡선이 나오는가?.. 궁금했었습니다

그냥 말씀 해주신데로 조금더 간단하게 생각해보겠습니다. 감사합니다~