對稱矩陣(對稱矩陣的行列式計算)

對稱矩陣是沿對角線對稱的矩陣。它是一個自伴算子（lf-adjoint operator）（把矩陣看作是一個算子并研究其性質確實是一件大事）。雖然我們不能直接從對稱性中讀出幾何屬性，但我們可以從對稱矩陣的特征向量中找到最直觀的解釋，這將使我們對對稱矩陣有更深入的了解。

常見的例子是單位矩陣。一個重要的例子是：

對稱矩陣的一個例子

然而，雖然定義簡單如斯，但卻意義非凡。在這篇文章中，我們將看一看它們的重要屬性，直觀地解釋它們，并介紹其應用。

厄米特矩陣（The Hermitian matrix）是對稱矩陣的復擴展，這意味著在厄米特矩陣中，所有元素都滿足：

厄米特矩陣的共軛轉置與自身相同。因此，它具有對稱矩陣所具有的所有性質。

厄米特矩陣的一個例子

在這篇文章中，我主要討論的是實數情況，即對稱矩陣，以使分析變得簡單一些，同時在數據科學中，我們遇到的也大都是實矩陣，因為我們要處理現實世界的問題。

對稱矩陣的最重要的性質

本節(jié)將介紹對稱矩陣的三個最重要的性質。它們涉及這些矩陣的特征值和特征向量的行為，這是區(qū)別對稱矩陣和非對稱矩陣的基本特征。

性質1. 對稱矩陣有實數特征值

這可以很容易地用代數法證明（正式的、直接的證明，而不是歸納法、矛盾法等）。首先，快速回顧一下特征值和特征向量。

矩陣A的特征向量是，在A作用于它之后，方向不變的向量。方向沒有改變，但向量大小可以改變。實數特征值給我們提供了線性變換中的拉伸或縮放信息，不像復數特征值，它沒有 "大小"。

向量被縮放的比例是特征值，我們用λ表示。因此我們有：

式1.1

證明是相當容易的，但有一些重要的線性代數知識，所以我們還是要一步一步地來。

1.1通過x的共軛轉置x?得到：

式1.2

需要注意的是，λ是一個標量，這意味著涉及λ的乘法是可交換的。因此，我們可以把它移到x?（x的轉置，上標H可能不顯示）的左邊：

式1.3

x?x是一個歐幾里得范數（ Euclidean norm），其定義如下：

公式1.4

在二維歐幾里得空間中，它是一個坐標為（x_1，...，x_n）的向量的長度。然后我們可以把公式1.3寫成：

公式1.5

由于共軛轉置（算子H）與普通轉置（算子T）的原理相同，我們可以利用x?A=（Ax）?的特性。

公式1.6

(Ax)?等于什么？這里我們將再次使用Ax = λx的關系，但這次(Ax)?將留給λ的復共軛，在λ上加一橫表示共軛。

式1.7

我們在式1.3中見過x?x，代歐幾里得范數后得到：

式1.8

這導致了λ和它的復共軛相等：

式1.9

只有在一種情況下，式1.9才有效，即λ是實數。這樣一來，我們就完成了證明。

性質2. 特征值所對應的特征向量是正交的

這個證明也是一個直接的形式證明，但很簡單。首先我們需要清楚目標，即：

式1.10

考慮一個對稱矩陣A，x_1和x_2是A的特征向量，對應于不同的特征向量（我們需要這個條件的原因將在稍后解釋）。根據特征值和對稱矩陣的定義，我們可以得到以下公式：

式1.11和式1.12

現在我們需要證明式1.10。讓我們試著把x_1和x_2放在一起-。在左邊用 (Ax?)?乘以x??：

式1.13

在式1.13中，除了對稱矩陣的特性外，還用到了另外兩個事實。

矩陣乘法符合結合律（可以用結合律運算）矩陣-標量乘法是可交換的（可以自由移動標量）。

然后，由于點積是可交換的，這意味著x??x?和x??x?是等價的，所以我們有：

式1.14

其中x_1?x_2表示點積。如果λ_1≠λ_，那么x_1?x_1=0，這意味著這兩個特征向量是正交的。如果λ_1 = λ_2，則有兩個不同的特征向量對應于同一個特征值。由于特征向量在(A-λI)的零空間（表示為N(A-λI)），當一個特征向量對應于多個特征向量時，N(A-λI)的維數大于1。在這種情況下，我們對這些特征向量有無限多的選擇，我們總是可以選擇它們是正交的。

顯然，有些情況下，實數矩陣有復數特征值。這發(fā)生在旋轉矩陣上。為什么會這樣呢？假設Q是一個旋轉矩陣。我們知道，特征向量在被Q作用后不會改變方向。但如果Q是一個旋轉矩陣，如果x是一個非零向量，x怎么可能不改變方向呢？結論是，特征向量必須是復數（好好想一想吧）。

二維空間中的旋轉矩陣R(θ)如下所示：

旋轉矩陣

R(θ)將一個向量逆時針旋轉一個角度θ，它是一個具有復數特征值和特征向量的實矩陣。

性質3. 對稱矩陣總是可對角化的（譜定理）

這也與對稱矩陣的其他兩個特性有關。這個定理的名字可能讓人困惑。事實上，一個矩陣的所有特征值的集合被稱為譜（ spectrum）。另外，我們可以這樣想。

特征值-特征向量對告訴我們，在給定的線性變換之后，一個向量在哪個方向上被扭曲。

如下圖所示，經過變換后，在v_1的方向上，圖形被拉伸了很多，但在v_2的方向上卻沒有很大的拉伸。

一個可對角線化的矩陣意味著存在一個對角線矩陣D（對角線以外的所有元素都是零），使得P-1AP=D，其中P是一個可逆矩陣。我們也可以說，如果一個矩陣可以寫成A=PDP-1的形式，那么該矩陣就是可對角的。

分解通常不是唯一的，但只有D中對角線上的元素的排列和P中特征向量的標量乘法才是唯一的。另外我們需要注意的是，無論矩陣是否對稱，對角線化都等同于找到特征向量和特征值。然而，對于非對稱矩陣，D不一定是正交矩陣。

這兩個定義是等價的，但可以有不同的解釋（這種分解使得求矩陣的冪非常方便）。第二個定義，A=PDP-1，告訴我們A如何被分解，與此同時，第一個定義，P-1AP=D，是告訴我們A可以被對角化。它告訴我們，有可能將標準基（由單位矩陣給出）與特征向量對齊（align）。這是由特征向量的正交性決定的，這在性質2中顯示。

這個 "將標準基與特征向量對齊 "聽起來非常抽象。我們需要思考這個問題：矩陣變換對單位基做了什么？

由基α = {v_1，…，v_n}組成的矩陣將一個向量x從標準基變換到由基α構成的坐標系，我們用Aα表示這個矩陣。因此，在對角化的過程中（P-1AP=D），P將一個向量從標準基送入特征向量，A對其進行縮放，然后P?1將該向量送回標準基。從向量的角度來看，坐標系與標準基對齊。

這種對齊方式如圖1.16所示，本例中使用的矩陣為：

式1.17

其中V是一個列向量長度為1的矩陣，每一個都對應于對角線矩陣中的特征值。至于計算，我們可以讓Matlab中的eig來完成。

這個性質直接遵循譜定理（ spectral theorem）：

如果A是厄米特矩陣，存在一個由A的特征向量組成的V的正態(tài)基，每個特征向量都是實數。

該定理直接指出了將一個對稱矩陣對角化的方法。為了直接證明這個性質，我們可以使用矩陣大小（維度）的歸納法。。

正定性

這些性質什么時候有用？甚至在正式研究矩陣之前，它們已經被用于解決線性方程組很長時間了。把矩陣看成是運算子，線性方程的信息就儲存在這些運算子中，矩陣可以用來研究函數的行為。

除了對稱性之外，矩陣還可以有一個更好的性質就是正定性。如果一個對稱矩陣是正定的，它的所有特征值都是正的。如果它的所有特征值都是非負的，那么它就是一個半正定矩陣。對于一個正定矩陣，很明顯要求它是對稱的，因為性質1，因為只有當一個數字是實數時，問它是正數還是負數或有多大才有意義。

特征值、特征向量和函數行為

這方面的一個很好的應用是海賽矩陣（Hessian matrix），我們將以此為例來證明使用矩陣來分析函數行為。當我們試圖找到一個局部極值時，發(fā)現海賽矩陣是正定的將非常有用。海賽矩陣是一個由實數函數的二階偏微分組成的矩陣。形式上，海賽矩陣被定義為：

我們稱H(x)為f的海賽矩陣，它是一個n乘n的矩陣。它與以下內容相同：

這對函數的行為有什么影響？我們來看看一個超級簡單的例子。考慮一下函數：

海賽矩陣的計算方法如下：

式2.3

由于它是一個對角矩陣，并且跡（對角線上的元素之和）等于特征向量之和，我們可以立即看到其中一個特征值是2，另一個是-2。 它們對應于特征向量v? = [1, 0]?和v? = [0, 1]?。這個矩陣是對稱的，但不是正定的。因此，在整個?2上沒有局部極值，我們只能在x=0，y=0點上找到一個鞍點。這意味著在特征值為正的v_1方向上，函數增加，而在特征值為負的v_2方向上，函數減少。該函數的圖像如下所示:

現在我們改變符號，將函數改為：

特征向量保持不變，但所有的特征向量都變成了正數。這意味著，在v_1的方向和v_2的方向上，函數都在增長。因此，可以找到局部最小值在x=0，y=0處，f(x,y)=0，這也是全局最小值。該圖為：

總結

矩陣在許多領域都有廣泛的應用。在處理矩陣時，經常會遇到正定義性、特征向量、特征值、對稱矩陣等概念。在這篇文章中，介紹了對稱（厄米特）矩陣的三個最重要的性質，它們與矩陣的特征向量和特征值有關。這些性質是以幾何學方式解釋的，但也包括一些代數證明。最后，介紹了一個使用矩陣來分析函數行為的例子。