| 此條目需要精通或熟悉相關主題的編者參與及協助編輯。 (2019年3月5日) 請邀請適合的人士改善本條目。更多的細節與詳情請參見討論頁。 |
在數學中,矩陣微積分是多元微積分的一種特殊表達,尤其是在矩陣空間上進行討論的時候。它把單個函數對多個變量或者多元函數對單個變量的偏導數寫成向量和矩陣的形式,使其可以被當成一個整體被處理。這使得要在多元函數尋找最大或最小值,又或是要為微分方程系統尋解的過程大幅簡化。這裏我們主要使用統計學和工程學中的慣用記法,而張量下標記法更常用於物理學中。
在本小節中,我們在表示向量和矩陣時,通過用單個變量來表示許多變量的方式,把矩陣記法的效用發揮到最大。接下來我們用不同字體來區分純量、向量和矩陣。我們使用M(n,m)來表示包含n行m列的n×m實矩陣的空間。該空間中的一般矩陣用粗體大寫字母表示,例如A,X,Y等。而若該矩陣屬於M(n,1),即列向量,則用粗體小寫字母表示,如a,x,y等。特別地,M(1,1)中的元素為純量,用小寫斜體字母表示,如a,t,x等。XT 表示矩陣轉置,tr(X)表示矩陣的跡,而 det(X)或|X|表示行列式。除非專門註明,所有函數都默認屬於光滑函數C1。 通常字母表前半部分的字母(a, b, c, …)用於表示常量,而後半部分的字母(t, x, y, …)用於表示變量。
向量求導[編輯]
由於向量可看成僅有一列的矩陣,最簡單的矩陣求導為向量求導。
這裏的標記方法可以通過如下方式表達大部分向量微積分:把n維向量構成的空間M(n,1)等同為歐氏空間 Rn, 純量M(1,1)等同於R。對應的向量微積分的概念在每小節末尾列出。
向量對純量求導[編輯]
向量
關於純量 x的導數可以(用分子記法)寫成
![{\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a09a083d1c5043d5144b39d973123d480ab69166)
這裏的「分子佈局記法」一般指,在表示導數向量(或矩陣)時,該導數的行數等於導數表達式
中處於分子部分的參數維度,即
的維度大小
;若採用分母佈局記法,則導數的行數等於導數表達式中處於分母部分的參數維度,即
的維度大小。分子佈局記法的結果與分母佈局記法的結果互為轉置關係。
在向量微積分中,向量
關於純量
的導數也被稱為向量
的切向量,
。注意這裏
。
例子 簡單的樣例包括歐式空間中的速度向量,它是位移向量(看作關於時間的函數)的切向量。更進一步而言, 加速度是速度的切向量。
純量對向量求導[編輯]
純量y對向量
的導數可以(用分子記法)寫成
![{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8e47415719067629c52a91a4a0d7d26e76a91bb0)
在向量微積分中,純量y在的空間Rn(其獨立坐標是x的分量)中的梯度是純量y對向量x的導數的轉置。在物理學中,電場是電勢的負梯度向量。
純量函數f(x)對空間向量x在單位向量u(在這裏表示為列向量)方向上的方向導數可以用梯度定義:
![{\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/6667384bf7a845519df9fb5b31d3823699bb4420)
使用剛才定義的純量對向量的導數的記法,我們可以把方向導數寫作
這類記法在證明乘法法則和鏈式法則的時候非常直觀,因為它們與我們熟悉的純量導數的形式較為相似。
向量對向量求導[編輯]
前面兩種情況可以看作是向量對向量求導在其中一個是一維向量情況下的特例。類似地我們將會發現有關矩陣的求導可被以一種類似的方式化歸為向量求導。
向量函數 (分量為函數的向量)
對輸入向量
的導數,可以(用分子記法) 寫作
![{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/219228d6b8593c9d0d63c108f07403de9aefa943)
在向量微積分中,向量函數y對分量表示一個空間的向量x的導數也被稱為前推 (微分),或雅可比矩陣。
向量函數f對Rn空間中向量v的前推為
矩陣求導[編輯]
有兩種類型的矩陣求導可以被寫成相同大小的矩陣:矩陣對純量求導和純量對矩陣求導。它們在解決應用數學的許多領域常見的最小化問題中十分有用。類比於向量求導,相應的概念有切矩陣和梯度矩陣。
矩陣對純量求導[編輯]
矩陣函數Y對純量x的導數被稱為切矩陣,(用分子記法)可寫成:
![{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d9abbb1ff9b41e69f09e4629419c9f12b0ecafe7)
純量對矩陣求導[編輯]
定義在元素是獨立變量的p×q矩陣X上的純量函數y對X的導數可以(用分子記法)寫作
![{\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b16420a71806794402709993f65d8ee49ca403a6)
定義矩陣上的重要的純量函數包括矩陣的跡和行列式。
類比於向量微積分,這個導數常被寫成如下形式:
![{\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e7ef85902f8df540af401ecf795336e8310ad0f4)
類似地,純量函數f(X)關於矩陣X在方向Y的方向導數可寫成
![{\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/60bf852d8c652809320ee908aa21e7977787a9a5)
梯度矩陣經常被應用在估計理論的最小化問題中,比如卡爾曼濾波算法的推導,因此在這些領域中有着重要的地位。
參考文獻[編輯]
延伸閱讀[編輯]
- Lax, Peter D. 9. Calculus of Vector- and Matrix-Valued Functions. Linear algebra and its applications 2nd. Hoboken, N.J.: Wiley-Interscience. 2007. ISBN 978-0-471-75156-4.
外部連結[編輯]