M.L (p.170)

Affine transformation

신경망에서의 행렬곱에 대하여

주요 문장 ( ” 편미분 과정에서 적당히 행렬을 맞춰준다 “)

대응하는 차원의 원소 수를 일치시킨다.

끝에 알 수 없는 라운드 L 값에서 부터 전해지는 과정에서 우리는 그 앞에 데이터에 맞게 행렬을 적절히 맞춰줘야 한다. 예로 Y (3, ) 이 편미분을 통해 X(2, ) 값으로 변환할 때, Y에 W matrix를 어떻게 곱해야 X matrix 가 나오는지를 보아야한다.

X(2, ) = Y(3, ) 내적 W(transpose) (3,2) = (2, )

데이터 N개를 묶어 순전파하는 경우(배치용) 을 생각해보면 행렬곱의 연산과정은 더욱 이해하기 쉽다.