我在进行机器学习的学习时,发现某些机器学习算法的推导过程需要运用到线性代数中的矩阵求导,而在大学本科线性代数课本中,并没有关于该块内容的介绍。于是本人上了某404百科将矩阵求导公式系统的搬运了下来,以便后续查阅。
前提及说明
● 我们默认若 x 为向量,则 x 为列向量, xT ( x 的转置)为行向量。
● 若一个求导形式中,分子为列向量的偏微分或者分母为行向量的偏微分(即分子为 ∂y 或者分母为 ∂xT ),则我们称这个求导形式为“分子布局(Numerator-layout)”。
● 若一个求导形式中,分子为行向量的偏微分或者分母为列向量的偏微分(分子为 ∂yT 或者分母为 ∂x ),则我们称这个求导形式为“分母布局(Denominator-layout)”。
part 0:两种布局简单形式的求导法则
上述是一些非常基本的矩阵求导法则,对于下面的一些复杂的求导形式,我们往往将它们化作上面的基本求导形式来计算。