랜덤포레스트 선형성

Question

안녕하세요. 강의 잘 듣고 있습니다. 다름이 아니라 랜덤포레스트 에 대해 궁금한 점이 있습니다.   Q1 로지스틱회귀나 선형회귀모델의 경우 선형성 을 전제로 한 모델이기때문에 피처 인코딩 시 원핫인코딩을 해준다고 하셨는데요. 랜덤포레스트 모델의 경우 선형성에 영향을 안 받나요? 랜덤포레스트의 경우 라벨인코딩 을 적용해도 아무 문제가 없는 것 같아서요.   Q2 그리고 여기서 말하는 선형성이라는 게 간단하게 어떤 것을 말하는 것일까요? 입력변수에 대해 출력변수가 선형적으로 비례할 수 있음을 의미하는 것일까요?   답변 부탁드립니다. 감사합니다.

권 철민 · Answer

안녕하십니까, 선형 모델들은 피처들의 값 크기 자체에 모델이 영향을 받을 수가 있습니다(선형 회귀식을 생각해 보시면 됩니다) 그래서 Scaling등의 작업을 수행하고 원핫 인코딩도 마찬가지 이유로 수행을 합니다. 하지만 랜덤 포레스트와 같은 트리 기반 모델들은 피처들의 값 자체에 영향을 받지 않습니다. 그래서 원핫 인코딩을 적용하지 않아도 무방합니다. 선형성은 개념 자체는 좀 더 복잡할 수는 있지만, 간단하게 보자면, 머신러닝 모델이 특정 선형식에 기반하여 만들어졌을 때 가지는 특성 정도록 생각해 주시면 될 것 같습니다. 선형 회귀 모델은 피처값과 회귀 계수로 1차 다항식과 같이 구성되지만, 반드시 1차 다항식 같은 식만 선형 회귀로 부르지 않고, 다양한 방식으로 선형 모델과 같이 처리가 가능한 모델을 선형 모델이라고 합니다. 예를 들어 다항회귀나 로지스틱 회귀도 선형 회귀에 속합니다. 또한 서포트 벡터 머신도 선형식에 기반하여 데이터 세트를 분류해 내기 때문에 선형 모델에 속할 수 있습니다(물론 커널 트릭을 사용한 비선형 분류도 가능합니다) 그래서 이런 선형식을 사용한 모델의 일반적인 특성을 제가 통칭해서 선형성이라고 한것 입니다. 감사합니다.