ベクトルの微分

ベクトルの微分の定義

スカラを返す関数fにおいて、列ベクトルxでの微分係数は以下のように定義される。

\displaystyle \frac{\partial f}{\partial \boldsymbol{x}} = \left(\frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \cdots ,\frac{\partial f}{\partial x_n} \right)^{T} \tag{1}

ベクトル \boldsymbol{a}, \boldsymbol{x} は、 \boldsymbol{a}^{T} \boldsymbol{x} = a_1x_1+a_2x_2+ \dots + a_nx_n なので、

\displaystyle \displaystyle \frac{\partial }{\partial \boldsymbol{x}}\boldsymbol{a}^{T} \boldsymbol{x} =\frac{\partial }{\partial \boldsymbol{x}}\boldsymbol{x}^{T} \boldsymbol{a} = \mathbf{a} \tag{2}

2次形式の微分

2次形式 \boldsymbol{x}^{T}\boldsymbol A \boldsymbol{x} の微分を考える。

 \displaystyle 
\boldsymbol A = \left(
    \begin{array}{cccc}
      a_{11} & a_{12} & \ldots & a_{1n} \\\
      a_{21} & a_{22} & \ldots & a_{2n} \\\
      \vdots & \vdots & \ddots & \vdots \\\
      a_{n1} & a_{n2} & \ldots & a_{nn}
    \end{array}
  \right) \tag{3}

となることから、


 
\boldsymbol{x}^{T}\boldsymbol A = \left(
      \displaystyle \sum_{i=1}^na_{i1} x_i ,
      \cdots ,
      \displaystyle \sum_{i=1}^na_{in} x_i
  \right) \tag{4}

これに x をかけると、

 
\boldsymbol{x}^{T}\boldsymbol A \boldsymbol{x} = \displaystyle \sum_{j=1}^n \sum_{i=1}^n a_{ij}x_i x_j \tag{5}

\boldsymbol {x}_k で偏微分すると、

 
\begin{eqnarray*}
\displaystyle \frac{\partial }{\partial x_k}\boldsymbol {x}^{T}\boldsymbol A\mathbf{x} &=& \displaystyle \sum_{j=1}^n \sum_{i=1}^n a_{ij}\displaystyle \left(\frac{\partial }{\partial x_k} x_i \right) x_j + \displaystyle \sum_{j=1}^n \sum_{i=1}^n a_{ij}x_i \displaystyle \frac{\partial }{\partial x_k} x_j \tag{6}\\\
 &=&\displaystyle \sum_{j=1}^n a_{kj} x_j + \displaystyle \sum_{i=1}^n a_{ik}x_i  \tag{7} \\\
\end{eqnarray*} \\\

k=1～ nを並べてベクトル表記にすると、


\displaystyle \frac{\partial }{\partial \boldsymbol {x}} \boldsymbol {x}^{T}\boldsymbol A \boldsymbol {x} = (\boldsymbol A + \boldsymbol A^T)\boldsymbol {x} \tag{8}