3.2 线性变换(矩阵)的特征向量与特征值

在函数中,我们接触到过“不动点”的概念,比如像$f(f(x)) = C$ ($C$为常数)这样的例子. 当我们知道某个函数具有类似的性质时,在研究函数的复合时便会容易很多. 那么对于线性变换而言,我们能够找到一个线性变换里面的“不变量”呢？即类似$T(T(\vec x)) = \vec y$这样的形式.我们用特征向量 (Eigenvectors) 和 特征值 (Eigenvalues) 来定义线性变换里面的这一“不变”的关系.

因此,我们得到了同函数里面的“不动点”所类似的推论.在此情况下当我们计算线性变换自身的复合时,便可以利用特征向量和特征值的关系来进行简便运算.这一点在后面章节的矩阵对角化里面会重点提及.我们现在需要知道的是:并不是所有的线性变换都会有特征向量和特征值；同理可知一个线性变换也可能会有多个特征向量和特征值；一个特征向量仅能和与之对应的特征值组合,否则就不具备定义3-2中的性质.

那么我们便想知道对于给定的线性变换$\vec T : \mathcal{V} \longrightarrow \mathcal{V}$, 我们该如何计算该线性变换的特征向量和特征值呢？我们一起来看下面的推理过程:假设在线性变换$\vec T : \mathcal{V} \longrightarrow \mathcal{V}$中,$\lambda$为一个特征值,$\vec v$为该特征值所对应的特征向量.那么根据定义,我们有

$$\vec T(\vec v) = \lambda \vec v.$$

我们将原等式进行移项,得到

$$\vec T(\vec v) - \lambda(\vec v) = 0.$$

根据单位变换的性质,设$I$为单位矩阵,$\vec T$的矩阵形式为$\vec A$,那么有$I \vec v = \vec v$, 因此

$$\vec A(\vec v) - \lambda (I \vec v) = 0,$$

即

$$( \vec A - \lambda I ) \vec v= \vec 0.$$

由此可知, 齐次方程$(\vec A-\lambda \vec I) \vec v=0$存在非零解, 那么$\vec A-\lambda\vec I$不可逆, 即$\det(\vec A-\lambda\vec I) = 0$.

由于我们知道, 当$\lambda$为特征值时,与其对应的特征向量$\vec v$满足$\vec v (\vec T - \lambda I) = 0$, 也就是说,

$$\vec v \in \Ker(\vec T - \lambda I).$$

在这里,当特征值$\lambda$给定时,我们便得知全体关于$\lambda$的特征向量构成$\vec T - \lambda I$的核空间. 我们也可以将其称为特征空间,计作$Eig_{\vec T}(\lambda)$.任何非零$\vec u \in Eig_{\vec T} (\lambda)$ 均为与特征值$\lambda$对应的特征向量. 特征空间也是$\mathcal{V}$的一个字空间.

此时我们再回到相似矩阵:我们之所以称之为相似矩阵,是因为二者之间存在着相似的结构. 我们目前仅仅知道相似矩阵的行列式相同,但实际上相似矩阵也有着相同的特征值.

值得注意的是,虽然相似矩阵的特征值相同,但是由于矩阵结构毕竟不同,所以相似矩阵的特征向量(特征向量构成的空间)不一定相同. 因此,我们现在便知道如何计算给定矩阵(线性变换)的特征向量和特征值.欲求特征值,我们只需要求方程$\det(A - x I) = 0$的解. 回顾行列式的知识,我们想什么情况下矩阵的行列式能够很容易计算出来？我们会想到上三角矩阵和下三角矩阵(若读者不熟悉此概念请查阅2.5练习2),此时矩阵的行列式即为主对角线上元素的乘积. 更进一步, 考虑一个主对角线以外的位置全部为零的矩阵,即$(A)_{ij} = 0 \hspace{0.2cm} \text{若} i \neq j$.形如这样的矩阵我们称作是对角矩阵 (Diagonal Matrix),我们设对角矩阵$A$主对角线上的元素从左上方到右下方依次为$\lambda_1, \lambda_2, \cdots, \lambda_n$.由于此时矩阵的结构简单,为了简化处理我们也可以将该对角矩阵$A$计作$\diag(\lambda_1, \lambda_2, \cdots, \lambda_n)$.同上(下)三角矩阵类似,对角矩阵的行列式即为对角线上全体元素的乘积, 此时我们也不难发现,对角矩阵的特征多项式$\det(A - x I)$中,有

$$(A - x I)_{ij} = \begin{cases} \lambda_i - x \hspace{0.2cm} (i = j) \\ 0 \hspace{1cm} (i \neq j) \end{cases}$$

此时,我们便有

$$\det(A - x I) = \prod_{i=1}^{n} (\lambda_i - x).$$

为了更好地判断一个线性变换(矩阵)的特征值,我们通常会运用因式分解,将矩阵的特征多项式写成形如$p(x) = (\lambda_1 - x)^{k_1} (\lambda_2 - x)^{k_2} \cdots (\lambda_j - x)^{k_j}$的形式.此时,我们要考虑复数根的情况了,但是我会在题目中强调数域,没有特殊说明的时候我们还是仅考虑特征向量为实数的情况.

随后,我们再给出两个至关重要的定义:特征值的代数重数 (Algebraic Multiplicity)以及几何重数 (Geometric Multiplicity), 这两个定义在后面的章节里面对于对角化的判断不可或缺.

在以后的计算中,为方便文字说明,对于一个特征值$\lambda$而言,我们将使用 $m_{\lambda}(a)$代表其代数重数,使用$m_{\lambda}(g)$代表其几何重数.

此时,我们想研究一种特殊的情况: 我们设线性变换$\vec T : \mathcal{V} \longrightarrow \mathcal{V}$, 令$\vec v \in \mathcal{V}$, 假设$\dim(\mathcal{V}) = n$, 考虑由以下向量为线性组合所构成的字空间:

$$\beta = \lbrace \vec v , \vec T(\vec v), \vec T^2(\vec v) , \cdots, \vec T^{n-1}(\vec v) \rbrace.$$

如果我们假设$\beta$彼此线性无关,那么根据定义,其即为$\mathcal{V}$的一组基底. 由于$\vec T^n(\vec v) \in \mathcal{V}$, 便存在常数$c_0,c_1, \cdots, c_{n-1}$, 使得

$$\vec T^n(\vec v) + c_0 \vec v + c_1 \vec T(\vec v) + \cdots + c_{n-1}\vec T^{n-1}(\vec v) = 0$$

此时,我们设矩阵$\vec B$为线性变换$\vec T$在基底$\beta$下的矩阵表达形式,那么我们有

$$\vec B = \left(\begin{array}{||c|} \\ [\vec T (\vec v)]_{\beta} & [\vec T(\vec T(\vec v))]_{\beta} & \cdots & [\vec T(\vec T^{n-1}(\vec v)]_{\beta} \\ \end{array}\right).$$

根据$\vec\beta$的定义,我们便有

$$\vec B = \begin{pmatrix} 0 & 0 & & \cdots & -c_0 \\ 1 & 0 & & \cdots & -c_1 \\ 0 & 1 & & \cdots & -c_2 \\ \vdots & \vdots & \ddots & & \vdots \\ 0 & 0 & \cdots & 1 & -c_{n-1} \end{pmatrix},$$

因此其特征多项式为

$$\begin{aligned} C_{\vec B}(x) &= \det(\vec B - xI) \\ &= \det \begin{pmatrix} -x & 0 & & \cdots & -c_0 \\ 1 & -x & & \cdots & -c_1 \\ 0 & 1 & & \cdots & -c_2 \\ \vdots & \vdots & \ddots & & \vdots \\ 0 & 0 & \cdots & 1 & -x - c_{n-1} \end{pmatrix}. \end{aligned}$$

其中,我们将该行列式按第$n$列展开,那么有

$$\det(\vec B - xI) = (-1)^{2n}(-x-c_{n-1}) \det(\vec B_{nn}) + \sum_{j=1}^{n-1} (-1)^{n+j}(-c_{j-1}) \det(\vec B_{jn})$$

其中,我们观察到$\vec B_{nn}$为下三角矩阵,因此$\det(\vec B_{nn}) = (-x)^{n-1}$, 同时$\vec B_{jn}$为形如$\begin{pmatrix} M_j & \vec 0 \\ \vec 0 & N_{j} \end{pmatrix}$的分块矩阵,且

$$\det(\vec B_{jn}) = \det(M_j)\det(N_j) = (-x)^{j-1}(1)^{n-j}$$

由此可知

$$\det(\vec B - xI) = (-1)^{2n} (-x-c_{n-1})x^{n-1} + \sum_{j=1}^{n-1}(-1)^{2n} (-c_{j-1} )(-x)^{j-1}$$

即

$$\det(\vec B - xI) = x^n + c_{n-1}x^{n-1} + \cdots + c_1 x + c_0$$

此时,令$x = \vec T$, 我们便有

$$\det(\vec B - \vec TI) = \vec T^n + c_{n-1}\vec T^{n-1} + \cdots + c_1 \vec T + c_0I = 0$$

由于我们事先已经知道,同一线性变换的特征多项式与基底的选取无关, 因此 我们便得到了著名的Cayley-Hamilton定理:

来举一个例子: 假设矩阵

$$A = \begin{pmatrix} 1 & 0 \\ 1 & 2 \end{pmatrix},$$

那么不难求出$A$的特征多项式为

$$\begin{aligned} \det(A - xI) = \det\begin{pmatrix} 1-x & 0 \\ 1 & 2-x \end{pmatrix} = x^2-3x+2. \end{aligned}$$

将$x$替换为矩阵$A$, 我们发现

$$\begin{aligned} C_{\vec A}(\vec A) &=\begin{pmatrix} 1 & 0 \\ 1 & 2 \end{pmatrix}^2 - 3\begin{pmatrix} 1 & 0 \\ 1 & 2 \end{pmatrix} + 2 \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}\\ &=\begin{pmatrix}1 & 0 \\ 3 & 4 \end{pmatrix} - \begin{pmatrix} 3 & 0 \\ 3 & 6 \end{pmatrix} + \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}\\ &=\vec 0. \end{aligned}$$

需要注意的是,在我们之前的推导中,我们默认了$\lbrace \vec v , \vec T(\vec v), \vec T^2(\vec v) , \cdots, \vec T^{n-1}(\vec v) \rbrace$彼此线性无关,但是在实际情况下往往这些向量不一定线性无关. 我们需要明白的是Cayley-Hamilton定理对任何前后维数不变的线性变换以及任何$n \times n$矩阵均成立. 上面的推理仅仅是一种特殊情况下的证明. 完整的证明会需要更多的引理, 在此我们不多做叙述.

{3.2 练习}

1. 求出下列矩阵的特征向量与特征值:

$$A = \begin{pmatrix} 2 & 1 & 1 \\ 0 & 1 & 0 \\ 1 & -1 & 2 \end{pmatrix} \hspace{0.5cm} B = \begin{pmatrix} 0 & 1 & 0 \\ 3 & 0 & 1 \\ 0 & 0 & 0 \end{pmatrix} \hspace{0.5cm} C = \begin{pmatrix} 1 & 1 & -3 \\ 2 & 0 & 6 \\ 1 & -1 & 5 \end{pmatrix}$$

2. 我们称线性变换$\vec T : \mathcal{V} \longrightarrow \mathcal{V}$ 在选定基底下对应的矩阵形式$A$为幂零矩阵 (Nilpotent Matrix), 如果其满足$A^k = \vec 0$ 其中$k \geq 1$.

① 证明主对角线全部元素为零的上(下)三角矩阵为幂零矩阵.

② 证明幂零矩阵有且仅有$0$这一个特征值.(无论数域为实数或复数该结论均成立)

③ 证明$n \times n$幂零矩阵$A$的特征多项式为$C_A (x) = x^n$.

3. 设$A$为$n \times n$可逆矩阵,且$\lambda$为一个特征值(在例题中我们已经证明此时$\lambda \neq 0$), 证明$\displaystyle{\frac{1}{\lambda}}$为$A^{-1}$的一个特征值.此时设$C_A(x), C_{A^{-1}}(x)$分别为$A,A^{-1}$的特征多项式,试证明:

$$C_{A^{-1}}(x) = \frac{(-x)^n}{\det(A)} C_A \left(\frac{1}{x}\right).$$

4.* 在复数域中,证明矩阵$\begin{pmatrix} \cos(\theta) & -\sin(\theta) \\ & \\ \sin(\theta) & \cos(\theta) \end{pmatrix}$的特征值为$e^{i \theta}$和$e^{-i \theta}$.

5. 设$A$为$n \times n$矩阵,若$A$中的每一列(或每一行)元素之和均为同一常数$\lambda$, 证明:$\lambda$即为$A$的一个特征值.

6. 设分块矩阵$A = \begin{pmatrix} B & \vec 0 \\ \vec 0 & C \end{pmatrix}$, 其中$A,B,C$均为方阵.设$A,B,C$的特征多项式分别为$C_A(x), C_B (x), C_C(x)$.

① 证明:$C_A(x) = C_B(x) C_C(x)$；

② 若$\vec x$为$B$的一个特征向量；$\vec y$为$C$的一个特征向量,证明:$\begin{pmatrix} \vec x \\ \vec 0 \end{pmatrix} ; \begin{pmatrix} \vec 0 \\ \vec y \end{pmatrix}$均为$A$的特征向量.

7. 在$n \times n$矩阵$A$中,设$\lambda$为$A$的一个特征值,证明:

① $k \lambda$为矩阵$kA$的一个特征值；

② $\lambda^3 - 2 \lambda + 3$为矩阵$A^3 - 2A + 3I$的一个特征值.