태그 보관물: linear layer

Back propgation에서의 전치행렬(transpose matrix) – 2편

1편이 너무 길어 져서 에 대한 유도는 여기로 나누었다. 이제 를 보면, 얘들도 모두 matrix이니 는 다음과 같이 생겼다. 첫번째 원소인 을 구하기 위해 이전 처럼, W에 대해 Y로 편미분하면 다음과 같이된다. Matrix W의 각 원소들 역시 scalar이므로 1편에서 X의 경우 처럼, 다음과 같이 나타낼 수 있다. 이것을 2X3인 matrix로 나타내면 Matrix X와 W원소의 위치를 […]

Back propgation에서의 전치행렬(transpose matrix) – 1편

실제로 전개해보면 다음 식이 도출됩니다([식 5.13]으로 이끄는 과정은 생략합니다). – p172, 5.6.1 Affine 계층, 밑바닥부터 시작하는 딥러닝 아니! 그걸 생략하면 어떡해요!! “밑바닥부터 시작하는 딥러닝”을 읽으면서 딥러닝의 개념을 잡는데 많은 도움을 받고 있지만 굳이 단점을 들자면 주요한 공식 들에 대해 설명하지 않고 그냥 넘어 가버리는 경우가 가끔 있다. 위에서 말하는 [식 5.13]은 back propagataion에서 입력에 대한 […]