Matrix Derivation
Carpe Tu Black Whistle

向量函数

向量函数-> 输出为向量(矩阵)的函数

向量函数

矩阵求导的本质
: 矩阵A中的每个元素对矩阵B中的每个元素求导。

求导的拉伸

  1. 标量不变,向量拉伸。
  2. 前面横向拉伸,后面纵向拉伸。

这里矩阵求导结果的排列有两种布局

  • 分母布局
  • 分子布局

两种布局的计算结果,互为转置

分子布局

李沐的网课【动手学深度学习v2】06 矩阵计算

分子布局

分子布局样例

分子样例

分子样例2

分母布局

例子1:

whereis a vector

例子2:

whereis a Square Matrix.

分母布局样例

点乘的样例

加法的样例