선생님, 질문이 있습니다.

Question

선생님, 강의 잘 듣고 있습니다.

6:54에 나와있는 그림에서요

[x1,x2,x3]

[o1 o2 o3] 이렇게 개략적으로 표현하였지만 사실 저게

shape가 (1,3)이 아니라 데이터의 개수에 따라

(N,3)이 될 수 있는거죠?

Answer

네, 맞습니다.

[o1 o2 o3] 은 (3,) shape이지만 실행시(즉 runtime)의 shape은 입력 데이터의 건수에 따라 (N,3)이 될 수 있습니다. 정확히는 입력 데이터의 건수가 아니라 Batch size N에 따라서 (N, 3)이 될 수 있습니다.

하지만 일반적으로 [o1 o2 o3]의 shape는 (3,)으로 표시합니다. 왜냐하면 batch size는 언제든지 바뀔 수가 있기 때문입니다.

보통 이렇게 심층 신경망의 layer별 입력/출력 shape를 언급할 때 batch size는 빼고 애기 합니다.

개념적으로 심층신경망의 shape를 생각할때는 batch size, 또는 입력 데이터 건수(mini batch가 아니라 전체 데이터를 기반으로 GD를 계산하는 경우)는 빼고 shape를 생각하는 게 좋습니다.