랜덤포레스트 선형성

안녕하십니까,

선형 모델들은 피처들의 값 크기 자체에 모델이 영향을 받을 수가 있습니다(선형 회귀식을 생각해 보시면 됩니다) 그래서 Scaling등의 작업을 수행하고 원핫 인코딩도 마찬가지 이유로 수행을 합니다. 하지만 랜덤 포레스트와 같은 트리 기반 모델들은 피처들의 값 자체에 영향을 받지 않습니다. 그래서 원핫 인코딩을 적용하지 않아도 무방합니다.

선형성은 개념 자체는 좀 더 복잡할 수는 있지만, 간단하게 보자면, 머신러닝 모델이 특정 선형식에 기반하여 만들어졌을 때 가지는 특성 정도록 생각해 주시면 될 것 같습니다.

선형 회귀 모델은 피처값과 회귀 계수로 1차 다항식과 같이 구성되지만, 반드시 1차 다항식 같은 식만 선형 회귀로 부르지 않고, 다양한 방식으로 선형 모델과 같이 처리가 가능한 모델을 선형 모델이라고 합니다. 예를 들어 다항회귀나 로지스틱 회귀도 선형 회귀에 속합니다.

또한 서포트 벡터 머신도 선형식에 기반하여 데이터 세트를 분류해 내기 때문에 선형 모델에 속할 수 있습니다(물론 커널 트릭을 사용한 비선형 분류도 가능합니다)

그래서 이런 선형식을 사용한 모델의 일반적인 특성을 제가 통칭해서 선형성이라고 한것 입니다.

감사합니다.