• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    미해결

회귀에서 경사하강법 질문 있습니다!!

20.06.22 22:23 작성 조회수 236

0

경사 하강법에서 get_weight_updates 함수를 정의하는 부분입니다.

# w1 과 w0 를 업데이트 할 w1_update, w0_update를 반환. 
def get_weight_updates(w1, w0, X, y, learning_rate=0.01):
    N = len(y)
    # 먼저 w1_update, w0_update를 각각 w1, w0의 shape와 동일한 크기를 가진 0 값으로 초기화
    w1_update = np.zeros_like(w1)
    w0_update = np.zeros_like(w0)
    # 예측 배열 계산하고 예측과 실제 값의 차이 계산
    y_pred = np.dot(X, w1.T) + w0
    diff = y-y_pred
         
    # w0_update를 dot 행렬 연산으로 구하기 위해 모두 1값을 가진 행렬 생성 
    w0_factors = np.ones((N,1))

    # w1과 w0을 업데이트할 w1_update와 w0_update 계산
    w1_update = -(2/N)*learning_rate*(np.dot(X.T, diff))
    w0_update = -(2/N)*learning_rate*(np.dot(w0_factors.T, diff))    
    
    return w1_update, w0_update

예측값은  분명 w0+X(1)w1+X(2)w2+X(3)w1+ ... +X(100)w1 라 하셨으니 배열이 아닌 하나의 값이 나와야 합니다.

허나 위 코드에서 정의한 y_predict인 np.dot(X,w1.T)+w0은 배열이 나오기 때문에 두 정의가 배치되는것 아닌가요???

잘 이해가 되지않습니다ㅜㅜ 

답변 1

답변을 작성해보세요.

0

안녕하십니까,

설명을 쉽게 하기 위해서 w0+X(1)w1+X(2)w2+X(3)w1+ ... +X(100)w1 했지만, 보통은 배열값이 X로 입력이 됩니다.  즉 N X M 데이터가 입력이고, 예측값도 N X 1 형태의 데이터가 만들어 집니다.

즉 설명으로는 좀 더 쉬운 설명을 위해 [x0, x1, ,,,, ] 이 입력 했지만 실제로는 N개의 feature값을 가지는 x 데이터가 M  데이터 배열이 입력되고, 이의 예측값도 M개의 값을 가집니다. 아래와 같이 M개의 학습 데이터셋 X가 입력되면 W 회귀계수에 기반한 M개의 선형 회귀 방정식을 만들게 됩니다.