2.6 矩阵的初等变换

回想我们在最开始引入的高斯消元法的知识:

对于高斯消元法则里面的每一步运算,我们能否用线性变换的知识去理解？为了简化运算, 我们不妨假设矩阵$\vec A = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}$, 然后我们先考虑这样的一个线性变换$\vec T_1$, 我们记该变换在标准基底下对应的矩阵形式为$\vec E_1$, 满足:

$$\vec E_1 = \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix}$$

此时我们把变换$\vec T_1$作用在矩阵$\vec A$上,我们得到

$$\vec T_1 (\vec A) = \vec E_1 \vec A = \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = \begin{pmatrix} a_{21} & a_{22} & a_{23} \\ a_{11} & a_{12} & a_{13} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}.$$

此时我们发现, $\vec T_1 (\vec A)$的意义便是将矩阵$\vec A$的第一,二行进行交换. 也就是说,变换$\vec T_1$也就对应了高斯消元里面的第一条法则,即交换任意两行. 此时我们还可以给出交换矩阵$\vec A$中第一,第三行的矩阵$\vec E_2$以及交换$\vec A$中第二.第三行的矩阵$\vec E_3$, 我们设它们所对应的线性变换分别为$\vec T_2, \vec T_3$.则

$$\vec T_2 (\vec A) = \vec E_2 \vec A = \begin{pmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = \begin{pmatrix} a_{31} & a_{32} & a_{33} \\ a_{11} & a_{12} & a_{13} \\ a_{11} & a_{12} & a_{13} \end{pmatrix};$$ $$\vec T_3 (\vec A) = \vec E_3 \vec A = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{31} & a_{32} & a_{33} \\ a_{21} & a_{22} & a_{23} \end{pmatrix}.$$

我们不难发现,此时矩阵$\vec E_1,\vec E_2,\vec E_3$均与标准矩阵$\vec I$十分相像,它们都是由标准矩阵$\vec I$经过交换任意两行中的元素从而得到的新矩阵.我们此时再来看另一个线性变换$\mathcal{S}$, 设该变换在标准基底下的矩阵形式为$\vec E_4$, 满足:

$$\vec E_4 = \begin{pmatrix} \lambda & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix},$$

其中$\lambda$为非零常数.我们此时把该变换作用在矩阵$\vec A$上,那么有

$$\mathcal{S} (\vec A) = \vec E_4 \vec A = \begin{pmatrix} \lambda & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = \begin{pmatrix} \lambda a_{11} & \lambda a_{12} & \lambda a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}.$$

此时,线性变换$\mathcal{S}$便代表将矩阵$\vec A$中第一行元素全部乘以一个非零常数$\lambda$, 参照高斯消元法的定义,该变换也就对应了第二条法则,即把同一行的元素全部乘以同一个非零常数.此时矩阵$\vec E_4$也便是标准矩阵$\vec I$经过把第一行乘以同一常数$\lambda$之后所得到的新矩阵.当然,我们也可以进行线性变换的复合.考虑复合变换$\mathcal{S} \circ \vec T_1$, 根据线性变换复合的定义,我们有

$$(\mathcal{S} \circ \vec T_1 ) (\vec A) = \mathcal{S} (\vec T_1 (\vec A)) = \vec E_4 (\vec E_1 \vec A) = (\vec E_4\vec E_1)\vec A,$$

即

$$\begin{aligned} (\mathcal{S} \circ \vec T_1 ) (\vec A) &= \left( \begin{pmatrix} \lambda & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix} \right) \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} \\ & \\ & = \begin{pmatrix} 0 & \lambda & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix}\begin{pmatrix} a_{21} & a_{22} & a_{23} \\ a_{11} & a_{12} & a_{13} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} \\ & \\ & = \begin{pmatrix} \lambda a_{21} & \lambda a_{22} & \lambda a_{23} \\ a_{11} & a_{12} & a_{13} \\ a_{31} & a_{32} & a_{33}. \end{pmatrix} \end{aligned}$$

此时我们不难发现,线性变换$\mathcal{S} \circ \vec T_1$ 即代表“先$\vec T_1$后$\mathcal{S}$”, 即为交换矩阵的第一,第二行,然后第一行整体乘以非零常数$\lambda$.通过这个变换,我们是否也能够理解为什么在矩阵乘法中$\vec A\vec B$和$\vec B\vec A$不一定相等？如果是变换$\vec T_1 \circ \mathcal{S}$, 即为“先$\mathcal{S}$后$\vec T_1$, 此时的结果还一样吗？(读者不妨尝试求出此时的矩阵).在原变换$\mathcal{S} \circ \vec T_1$中,该复合变换所对应的矩阵$(\vec E_4 \vec E_1)$便也可以看作是标准矩阵$\vec I$经过了两步变换(先交换第一,第二行,然后第一行整体元素乘以非零常数$\lambda$)之后所得到的结果.

我们不妨再考虑一个线性变换$\mathcal{Q}$, 我们设$\vec E_5$为该变换在标准基底下对应的矩阵形式,且满足

$$\vec E_5 = \begin{pmatrix} 1 & 0 & \lambda \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix},$$

那么,当我们把线性变换$\mathcal{Q}$作用在矩阵$\vec A$上时,我们有

$$\mathcal{Q}(\vec A) = \vec E_5 \vec A = \begin{pmatrix} 1 & 0 & \lambda \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = \begin{pmatrix} a_{11} + \lambda a_{31} & a_{12} + \lambda a_{32} & a_{13} + \lambda a_{33} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}.$$

该变换$\mathcal{Q}$即代表了将第三行中的元素乘以同一个非零常数$\lambda$, 然后加到第一行上.也就是对应了高斯消元法里面的第三条.其中$\vec E_5$也可以看作单位矩阵$\vec I$中,将第三行乘以同一常数$\lambda$, 然后加到第一行上所得到的结果.

我们把上文中形如$\vec E_1,\vec E_2,\vec E_3,\vec E_4,\vec E_5$的矩阵称作是初等矩阵 (Elementary Matrix), 我们在此给出初等矩阵的定义 (为了简化数学符号我们仅给出$2\times 2$初等矩阵的定义):

读者可以自行尝试推导剩余的几种变换矩阵,比如用第二行减去第一行的$\lambda$倍等.

由此一来,我们便明白了高斯消元其实也是一个变换$\mathcal{G} : \vec A \longrightarrow \mathbf{RREF}(\vec A)$, 其中$\mathcal{G}$便是若干个初等矩阵复合的结果. 我们不妨来看一个简单的例子: 设矩阵$\vec B = \begin{pmatrix} 1 & 3 \\ 2 & 1 \end{pmatrix}$, 当我们进行高斯消元的时候,我们先对第一列进行消元,即把第一行的元素全部乘以2,然后用第二行减去第一行.那么这个变换便可以看作是两个初等矩阵的复合.我们设$\vec E_1 = \begin{pmatrix} 2 & 0 \\ 0 & 1 \end{pmatrix}$, 该矩阵即代表将第一行全部元素乘以2；设$\vec E_2 = \begin{pmatrix} 1 & 0 \\ -1 & 1 \end{pmatrix}$, 该矩阵即代表用矩阵的第二行减去第一行.那么按照顺序,第一列的消元即可以表示成为

$$\begin{aligned} \vec E_2 \vec E_1 \vec B = \begin{pmatrix} 1 & 0 \\ -1 & 1 \end{pmatrix}\begin{pmatrix} 2 & 0 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 3 \\ 2 & 1 \end{pmatrix} = \begin{pmatrix} 2 & 6 \\ 0 & -5 \end{pmatrix}. \end{aligned}$$

这与我们使用高斯消元法所得到的矩阵一致.我们随后来看第二列的消元,为简化处理我们先将第一行同除以$2$, 记$\vec E_3 = \begin{pmatrix} 0.5 & 0 \\ 0 & 1 \end{pmatrix}$ 为该运算所代表的矩阵,那么

$$\vec E_3 (\vec E_2\vec E_1\vec B) = \begin{pmatrix} 0.5 & 0 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} 2 & 6 \\ 0 & -5 \end{pmatrix} = \begin{pmatrix} 1 & 3 \\ 0 & -5 \end{pmatrix}.$$

我们将第一行同乘以5,将第三行同乘以3,记$\vec E_4 = \begin{pmatrix} 5 & 0 \\ 0 & 1 \end{pmatrix}, \vec E_5 = \begin{pmatrix} 1 & 0 \\ 0 & 3 \end{pmatrix}$, 随后我们把第二行加到第一行上去,记$\vec E_6 = \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}$. 那么把这些初等矩阵进行复合, 则有

$$\vec E_6 \vec E_5 \vec E_4 (\vec E_3 \vec E_2 \vec E_1)\vec B = \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 0 \\ 0 & 3 \end{pmatrix}\begin{pmatrix} 5 & 0 \\ 0 & 1 \end{pmatrix}\begin{pmatrix} 1 & 3 \\ 0 & -5 \end{pmatrix} = \begin{pmatrix} 5 & 0 \\ 0 & -15 \end{pmatrix}.$$

最后,我们将第一行同除以5,将第三行同除以$-15$,记$\vec E_7 = \begin{pmatrix} 0.2 & 0 \\ 0 & 1 \end{pmatrix}, \vec E_8 = \begin{pmatrix} 1 & 0 \\ 0 & -\frac{1}{15} \end{pmatrix}$, 最终我们即可得到单位矩阵$\vec I$, 也就是说

$$( \vec E_8 \vec E_7 \vec E_6 \vec E_5 \vec E_4\vec E_3\vec E_2 \vec E_1)\vec B = \vec I.$$

由于此时$\mathbf{RR\vec EF}(\vec A) = \vec I$, 所以矩阵$\vec A$可逆,同时由于所有的初等矩阵均可逆, 因此我们有

$$\vec A = ( \vec E_8 \vec E_7 \vec E_6 \vec E_5 \vec E_4\vec E_3\vec E_2 \vec E_1)^{-1} \vec I,$$

即

$$\vec A = \vec E_1^{-1} \vec E_2^{-1} \cdots \vec E_8^{-1}.$$

我们把上述发现总结成一条定理:

由这条定理我们可以给出如下推论:

我们不妨用利用推论$2.2$来尝试将矩阵$\vec A$分解成两个矩阵的乘积的形式. 我们为方便起见, 先假设

$$\vec A = \begin{pmatrix} 1 & 2 & -1 \\ 2 & 1 & 1 \\ -1 & 0 & 3 \end{pmatrix},$$

随后, 我们利用高斯消元把$\vec A$转化成上三角矩阵: 我们首先用第二行的元素减去第一行元素的$2$倍, 然后用第三行元素加上第一行元素, 最后再用第三行的三倍两加上第二行的两倍. 这样的变换可以用基本初等矩阵表示为

$$\vec E_3\vec E_2 \vec E_1 \vec A = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 2 & 3 \end{pmatrix}\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 1 & 0 & 1 \end{pmatrix}\begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 2 & -1 \\ 2 & 1 & 1 \\ -1 & 0 & 3 \end{pmatrix} = \begin{pmatrix} 1 & 2 & -1 \\ 0 & -3 & 3 \\ 0 & 0 & 12 \end{pmatrix}.$$

我们将式子最右边的上三角矩阵记作$\vec U$. 于是我们便有

$$\vec E_3 \vec E_2\vec E_1\vec A = \vec U.$$

由于基本初等矩阵可逆, 我们便有

$$\vec A=\vec E_1^{-1} \vec E_2^{-1} \vec E_3^{-1} \vec U.$$

基本初等矩阵的逆矩阵并不难求. 对于$\vec E_1$, 其定义是第二行减去第一行的两倍, 那么它的逆变换便是第二行加上第一行的两倍; $\vec E_2$的逆变换便是第三行减去第一行; $\vec E_3$的逆变换便是第三行减去第二行的两倍再除以$3$. 由此我们得到

$$\vec E_1^{-1}\vec E_2^{-1}\vec E_3^{-1} = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ -1 & 0 & 1 \end{pmatrix}\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -\frac{2}{3} & \frac{1}{3} \end{pmatrix}=\begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ -1 & -\frac{2}{3} & \frac{1}{3} \end{pmatrix}.$$

我们此时把等式最右边的下三角矩阵记作$\vec L$, 那么由此我们便有

$$\vec A = \vec L \vec U = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ -1 & -\frac{2}{3} & \frac{1}{3} \end{pmatrix}\begin{pmatrix} 1 & 2 & -1 \\ 0 & -3 & 3 \\ 0 & 0 & 12 \end{pmatrix}.$$

上式也被称作是矩阵的LU分解 (LU Factorization), 值得注意的是$LU$分解对于$m\times n$矩阵同样适用, 只不过此时情况会稍加复杂, 我们在此略去. (读者可能会发现这里的$LU$矩阵可能与有些教材中的定义存在差异. 在一些书中矩阵$\vec L$的主对角线上的元素全部为$1$. 这二者之间几乎没有差异, 我这样定义的出发点是想从初等矩阵的角度去考虑问题. 另外, 这里为了简化讨论, 我们假设消元过程中不需要交换行. 若需要交换行,则通常要引入置换矩阵$\vec P$, 得到 $\vec P \vec A=\vec L\vec U$ 的形式).

我们不妨再考虑另一种分解: 设$\vec A$为$m \times n$矩阵, 且$\rank(\vec A) = r$. 我们设$\mathbf{RREF}(\vec A) = \vec R$, 那么根据上述定理可知, 存在可逆矩阵$\vec U \in M_{m}$, 使得$\vec R = \vec U\vec A$, 并且我们知道存在以下形式的变换:

$$\left(\begin{array}{c|c} \vec A & \vec I_m \end{array}\right) \longrightarrow \left(\begin{array}{c|c} \vec R & \vec U \end{array}\right).$$

由于$\rank(\vec A) = r$, 意味着在矩阵$\vec R$中有$r$个前导变量, 那么通过适当地变换, $\vec R$中的元素可以写成如下图所示的分块矩阵:

$$\vec R \in M_{mn} = \begin{pmatrix} \vec I_r & \vec Y \\ \vec 0 & \vec 0 \end{pmatrix} ;\quad \vec R^\top \in M_{nm} = \begin{pmatrix} \vec I_r & \vec 0 \\ \vec Y & \vec 0 \end{pmatrix}.$$

那么,对$\vec R^\top$再次进行变换,我们最终可以得到形如$\begin{pmatrix} \vec I_r & \vec 0 \\ \vec 0 & \vec 0 \end{pmatrix}$的矩阵, 那么此时即存在$n \times n$可逆矩阵$\vec U_1$, 使得

$$\begin{pmatrix} \vec I_r & \vec 0 \\ \vec 0 & \vec 0 \end{pmatrix} = \vec U_1 \vec R^\top.$$

我们设$\vec V = \vec U_1^\top$, 此时我们有

$$\vec U\vec A\vec V = \vec R\vec V = \vec R\vec U_1^\top = (\vec U_1 \vec R^\top )^\top = \left( \begin{pmatrix} \vec I_r & \vec 0 \\ \vec 0 & \vec 0 \end{pmatrix}_{n \times m} \right)^\top = \begin{pmatrix} \vec I_r & \vec 0 \\ \vec 0 & \vec 0 \end{pmatrix}_{m \times n}.$$

由此我们引出另一条定理:

至此,第二章的内容到此结束. 我知道线性变换所涵盖的东西实在太多，但无奈篇幅有限，只好忍痛割爱. 第二章的内容同样也是第三章的垫脚石, 因此希望读者能够认真反复地研读该章节, 为自己的线性代数水平打下扎实的基础.

{2.6 练习}

1. 我们该如何理解初等矩阵的逆矩阵？求出下列初等矩阵的逆矩阵.

$$\vec E_1 = \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix} \hspace{0.5cm} \vec E_2 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 4 \end{pmatrix} \hspace{0.5cm} \vec E_3 = \begin{pmatrix} 1 & 0 & 5 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}.$$

2. 将下列矩阵表示成若干个基本初等矩阵的乘积:

$$\vec A = \begin{pmatrix} -2 & 3 \\ 1 & 0 \end{pmatrix} \hspace{0.5cm} B = \begin{pmatrix} 1 & 1 \\ 2 & 1 \end{pmatrix} \hspace{0.5cm} C = \begin{pmatrix} 1 & 0 & 2 \\ 0 & 1 & 1 \\ 2 & 1 & 6 \end{pmatrix}.$$

3. 若$\vec A = \begin{pmatrix} 1 & 2 \\ -1 & 1 \end{pmatrix}, \vec C = \begin{pmatrix} -1 & 1 \\ 2 & 1 \end{pmatrix}$, 求出初等矩阵$\vec E_1,\vec E_2$, 使得$\vec C = \vec E_2 \vec E_1 \vec A$.

4. 在本书第一章第一节中,我便提出过如下的定理: 对于任意的矩阵$\vec A$而言, $\rank(\vec A) = \rank(\mathbf{RR\vec EF}(\vec A))$. 在完成本节的学习之后,尝试证明这一定理.

5. 假设在矩阵变换时我们有$\left(\begin{array}{c|c} \vec A & \vec I \end{array}\right) \longrightarrow \left(\begin{array}{c|c} \vec P & \vec Q \end{array}\right)$, 证明: $\vec P =\vec Q\vec A$.

6. 求出下列矩阵的$LU$分解:

$$\vec A = \begin{pmatrix} 1 & 1 & 0 \\ -1 & 0 & 1 \\ 0 & 1 & -1 \end{pmatrix}; \quad \vec B= \begin{pmatrix} 1 & 0 & 0 & 2 \\ 1 & 1 & -1 & 0 \\ 0 & 1 & 0 & 1 \\ -1 & 1 & 0 & 1 \end{pmatrix}.$$