선생님 공부하다가 조금 헷갈려서 질문드립니다.

안녕하십니까,

통계 기반의 회귀와 머신러닝 기반의 회귀 모두 데이터에 기반하는 것은 동일합니다.

다만, 통계 기반 선형 회귀는 전체 데이터의 오류를 최소화할 수 있도록 독립 변수 데이터와 종속 변수 데이터의 관계에 관한 식을 예측하는 것입니다. 그리고 이 예측 식은 여러가지 전제 조건에 기반할 수 있습니다.

가령, 독립변수들(피처)과 종속 변수(타겟)은 선형의 관계이다. 개별 관측값은 서로 독립적이다, 동분산성, 오차의 독립성등 이를 기반으로 OLS(Ordinary Least Square)등의 기법으로 모델을 추정합니다. 

머신러닝의 경우도 모델 추정(즉 최적 함수 찾기)을 합니다.  이 추정을 batch 사이즈 만큼의 학습 데이터를 계속 읽어가면서 최적함수로 예측한 예측값과의 차이에 기반한 손실함수 값을 줄여나갑니다. 손실함수를 어떻게 정의하는지, 그리고 어떻게 이 손실함수값을 줄여 나가는지는 개별 머신러닝 알고리즘별로 다릅니다만, 계속적으로 학습 데이터를 반복적으로 읽어 나가면서 최적의 모델 파라미터를 찾아내는 방식입니다.