2.3 矩阵的乘法与线性变换的复合

我在前面说过,线性变换就好比作用于线性空间上的函数.我们在本章第二节里面也详细学习了线性变换中所体现出的函数的性质.在本节中我们将重点讨论线性变换的复合的本质——矩阵的乘法.在谈论线性变换的复合之前,我们有必要首先引入矩阵的乘法运算,只有这样我们才能更好地学习线性变换的复合.

根据定义,对于$C = AB$而言,$C_{ij}$即为$A$中第$i$行与$B$中第$j$列取“数量积”的结果.我们注意到,若使得$AB$有意义,我们必须确保矩阵$A$的列数与矩阵$B$的行数相等.我们来通过实际的例子来熟悉矩阵的乘法运算:

矩阵的乘法还可以从矩阵与向量乘法的角度进行审视,下面的定理便是另一种求解矩阵乘法的方式:

不难证明该计算法则与定义$2.7$中所提到的法则是等价的.

矩阵的加法运算较乘法运算而言更加简单,我们只需要把对应位置的元素相加即可.这也说明当且仅当矩阵$A,B$均为$m \times n$矩阵时,其加法运算$A + B$有意义,记$C = A + B$, 则$(C)_{ij} = (A)_{ij} + (B)_{ij}$.

根据矩阵乘法运算的法则,如果$A,B$均为$n \times n$矩阵,那么其乘积$AB,BA$也均为$n \times n$矩阵.此时也会有非常多的性质与推论.我们重点研究的对象便是$n \times n$矩阵之间的乘积.在所有的$n \times n$矩阵中,有一种矩阵最为特殊:即由所有$\mathbb{R}^n$的标准基底中的向量$\vec e_1, \vec e_2, \cdots, \vec e_n$为列向量所构成的矩阵$\vec I = \begin{pmatrix} \vec e_1 & \vec e_2 & \cdots & \vec e_n \end{pmatrix}$.该矩阵我们也称作是单位矩阵 (Identity Matrix）, 其中$\vec e_i$的模均为$1$,且在$\vec e_i$中有且仅有第$i$个位置的元素为$1$,其余元素均为$0$. 并且$\vec e_i \cdot \vec e_j = \begin{cases} 1 &(i=j) \\ 0 &(i \neq j)\end{cases}$. 全体$n \times n$矩阵构成的集合我们写作$M_n$, 不难发现$M_n$同样构成线性空间.

另外矩阵之间还满足一定的运算法则:

在定理$2.10$的第一条性质里面,我们因此知道矩阵乘法满足乘法的结合律,因此当涉及多个矩阵的乘法时,我们往往也可以将括号省略不写,比如我们可以直接写作$ABCD$, 其代表4个矩阵的乘积,同时根据乘法的分配律我们有$ABCD = (AB)(CD) = A(BCD) = (ABC)D = A(BC)D$等多种形式. 因此多个矩阵相乘时可以改变括号的位置, 但不能改变矩阵的相对顺序. 这是因为根据矩阵乘法的定义,$AB$与$BA$并不一定相等,这一点读者可以自行验证.交换位置之后矩阵的乘法很可能就没有意义,或者结果发生改变.

在矩阵乘法中,有一类乘法是我们重点研究的对象:即同为$n \times n$矩阵之间的乘法.这样一来根据定义,如果$A,B \in M_n$, 那么其乘积$AB,BA$必然存在且有意义（但不一定相等）,且乘积所得到的新矩阵也为$n \times n$矩阵, 这样一来我们就可以将全体的$n \times n$矩阵当成是线性空间$M_n$中的“向量”来看待,通过研究线性变换来研究矩阵的乘法.我会在本节的后半部分引入线性变换.

我们设$A$为$m \times n$矩阵,那么根据矩阵转置的定义,$A^\top$为$n \times m$矩阵.若$A = A^\top$, 我们则首先要保证二者的行数,列数相同,即$m = n$. 因此只有$n \times n$矩阵存在对称矩阵. 由全部$n \times n$对称矩阵构成的集合我们也可以用$\sym(M_n)$表示. $\sym(M_n)$也是一个线性空间,读者可以自行尝试证明.

对于$n \times n$矩阵乘法而言,我们引入了分块矩阵 （Block Matrix), 即将矩阵写成是若干个维数更小的$m \times n$矩阵. 我们通过研究这些$m \times n$矩阵,也可以得出很多重要的性质和推论. 这些矩阵块可以是方阵, 也可以是矩形矩阵;关键是相邻矩阵进行分块乘法时,各块尺寸必须匹配. 我们先假设

$$A= \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 2 & -1 & 4 & 2 & 1 \\ 3 & 1 & -1 & 7 & 5 \end{pmatrix},$$

那么我们发现,在矩阵$A$中有很多性质比较好的“局部”,比如有一片区域为零,同时左上角区域还存在一个单位矩阵$I \in M_2$, 因此我们可以把这些性质比较好的矩阵分割出来, 写成如下的形式:

$$A = \left(\begin{array}{cc|ccc} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ -- & -- & -\mid- & -- & -- & -- \\ 2 & -1 & 4 & 2 & 1 \\ 3 & 1 & -1 & 7 & 5 \end{array}\right) = \begin{pmatrix} \vec I_2 & \vec 0 \\ P & Q \end{pmatrix}$$

这样一来,我们很大程度地简化了矩阵$A$的结构. 假设此时我们有另外一个矩阵$B$:

$$B = \begin{pmatrix} 4 & -2 \\ 5 & 6 \\ 7 & 3 \\ -1 & 0 \\ 1 & 6 \end{pmatrix},$$

那么在计算矩阵乘法时, 我们其实就可以把分块矩阵当成一个整体,然后按照常规的矩阵乘法进行计算.比如我们也可以将$B$写成这样的分块矩阵:

$$B = \begin{pmatrix} 4 & -2 \\ 5 & 6 \\ --&-- \\ 7 & 3 \\ -1 & 0 \\ 1 & 6 \end{pmatrix} = \begin{pmatrix} X \\ Y \end{pmatrix}.$$

在进行矩阵的分块时,我们一定要选取合适的位置.我们想通过分块,使得原矩阵变成数个结构简单的矩阵,同时我们还要考虑每一个分块在与另一个矩阵的对应分块相乘时有意义.按照我们的划分,乘积$AB$即可以写作

$$AB = \begin{pmatrix} I_2 & \vec 0 \\ P & Q \end{pmatrix}\begin{pmatrix} X \\ Y \end{pmatrix} = \begin{pmatrix} I_2X + \vec 0 Y \\ PX + QY \end{pmatrix} = \begin{pmatrix} X \\ PX + QY \end{pmatrix} = \begin{pmatrix} 4 &-2 \\ 5 & 6 \\ -- & -- \\ 30 & 8 \\ 8 & 27 \end{pmatrix}.$$

所以在计算矩阵的乘法时,我们可以将矩阵划分成若干个分区,把每一个分区当成一个整体进行矩阵乘法.对于一种特殊类型的矩阵,存在下列定理:

该定理的证明便是矩阵乘法定义的直接应用. 我们由此还可以得到一条推论:

说了这么多矩阵的乘法,让我们回到线性变换,用线性变换的角度去审视矩阵的乘法.假设我们有线性变换$\vec T : V \longrightarrow W$, $\vec S : W \longrightarrow U$. 我们是否可以构造出一个新的线性变换$Q : V \longrightarrow U$?

我们假设$\vec v \in V$, 那么通过变换$\vec T$, 我们知道$\vec T(\vec v) \in W$, 我们不妨设$\vec T(\vec v) = \vec w$; 通过变换$\vec S$, 我们知道$\vec S(\vec w) \in U$, 我们不妨设$\vec S(\vec w) = \vec u$. 我们再将$\vec w$进行代换, 即$\vec S(\vec T(\vec v)) = \vec w$. 我们此时得到,$\vec S(\vec T(\vec v)) = \vec S\vec T (\vec v)$, 于是我们看到矩阵的乘法实际上也就是两个线性变换的复合.此时$\vec S\vec T (\vec v)$也可以记作$\vec S \circ \vec T$.

注意到该法则的顺序可能与我们的正常认知有所不同.在这里$\vec S\vec T$代表“先$\vec T$”后“$\vec S$”, 简单来说可以理解为“先内后外”.就好比复合函数$f(g(x))$, 我们需要先求出内层函数$g(x)$的值,然后在求解外层函数$f(x)$的值. 引入线性变换之后,我们重新回到之前我提出的两个问题: 第一,不是所有的矩阵之间都可以做乘法.我们还以上面定义过的$\vec T, \vec S$为例: 如果我们定义变换$TS$, 即$T ( S (\vec w)) , \vec w \in W$, 那么我们此时发现$\vec u = S(\vec w) \in U$, 而$\vec u = S(\vec w) \notin V$. 因此这个时候$T(\vec u)$即没有意义, 因为$\vec u$不在其线性变换所定义的范围之内. 在我们给出的使得矩阵$AB$有意义的条件里面,我强调了矩阵$A$的列数等于$B$的行数, 现在我们能否用线性变换的知识去解答这一点? 第二, 我强调$AB$与$BA$不一定相等. 为了加深对这一点的理解, 我们来一起看下面这个例子:

在上面的例题中, $(\vec T \vec S)\vec v$既代表了先将向量正交投影至$x$轴上, 然后再顺时针旋转$\frac{\pi}{4}$的变换; 而$(\vec S\vec T)\vec v$则代表了先将向量$\vec x$顺时针旋转$\frac{\pi}{4}$, 然后在正交投影至$x$轴的变换.

{2.3 练习}

1. 下列说法中,哪些是正确的？那些是错误的？如果是错误的,请找出一个反例或者说明原因.

① $\vec A^2 = \vec I$的充要条件是$\vec A = \vec I$;

② $\vec A\vec J = \vec A$的充要条件是$\vec J = \vec I$;

③ 设$\vec A$为$n \times n$矩阵, 则$(\vec A^\top)^3 = (\vec A^3)^\top$

④ $\vec A$为对称矩阵的充要条件是$\vec A+\vec I$为对称矩阵

⑤ 若$\vec A \neq \vec 0$, 那么$\vec A^2 \neq \vec 0$.

2. 在$\vec A\vec B,\vec B\vec A$有意义的情况下,关于矩阵的乘法,下列哪些说法是正确的？

① 若$\vec A$中有一行元素全部为$0$,则$\vec B\vec A$也有一行元素全部为$0$;

② 若$\vec A$中有一列元素全部为$0$,则$\vec B\vec A$也有一列元素全部为$0$;

③ 若$\vec A\vec B$中有一行元素全部为$0$,则$\vec B$也有一行元素全部为$0$;

④ 若$\vec A\vec B$中有一行元素全部为$0$,则$\vec A$也有一行元素全部为$0$.

3. 找出一个$3\times 3$矩阵$\vec{A}$,使得$\vec{A} \neq \vec 0$, $\vec{A}^2 = \vec 0$.

4. 是否存在满足条件的$2 \times 2$矩阵$\vec A,\vec B$, 使得$\vec A\vec B - \vec B\vec A = \vec I$?

5. 若线性变换$\vec T : V \longrightarrow V$满足满足$\vec T^2 = \vec T$, 我们则称其为幂等变换 (Idempotent Transformation). 此时$\vec T$对应的矩阵也被称作是幂等矩阵.

① 证明矩阵$\begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix} ; \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}$ 为幂等矩阵;

② 在$\mathbb{R}^3$中,$\vec T$代表向量到平面$Ax+By+Cz = 0$的正交投影$(A,B,C \neq 0)$.那么对于任意的$A,B,C$, 证明$\vec T$为幂等变换;

③ 若$\vec P$为$n \times n$幂等矩阵, 那么对于任意的$n \times n$矩阵$\vec A$, $\vec Q = \vec P + \vec A\vec P - \vec P\vec A\vec P$同样为幂等矩阵.

6. 若线性变换$\vec T : V \longrightarrow V$满足$\vec T^k = \vec 0$, $k \leq \dim(V)$, 我们则称其为幂零变换 (Nilpotent Transformation). 设$\vec T$为幂零变换, 且$\dim(V) = n$. 证明: $\vec T^n = \vec 0$.

7. 设线性变换$\vec T : V \longrightarrow U$, $\vec S : U \longrightarrow W$.

① 若$\vec S\vec T$为单射, 证明$\vec T$为单射变换, 且$\dim(V) \leq \dim(U)$;

② 若$\vec S\vec T$为满射,证明$\vec S$为满射变换,且$\dim(W) \leq \dim(U)$.