线性代数二三事

第1章:线性方程组与向量

1.4 线性空间之间的关系

第1章 线性方程组与向量

在上一节中,我们主要探讨了线性空间与向量的关系.而在本节的内容里面我们将会探讨线性空间之间的关系. 我们开门见山, 引出本节的第一个重要定义:

定义 1.12

VV为定义在数域F\mathbb{F}上的线性空间, WVW \subset V, , 且WW \neq \varnothing. 如果对于任意的w1,w2W,λF\vec w_1 , \vec w_2 \in W , \lambda \in \mathbb{F}, 满足

w1+w2W\vec w_1 + \vec w_2 \in W;

λw1W\lambda \vec w_1 \in W.

我们称WW为线性空间VV子空间 (Subspace), 记作WVW \subset V.

我们称子空间对于向量加法运算封闭 (Closed Under Vector Addition); 以及对于系数乘法运算封闭 (Closed Under Scalar Multiplication). 在实际应用中, 我们往往会采取如下的一步判别法: 即判断

λw1+μw2W\lambda \vec w_1 + \mu \vec w_2 \in W

即可.

定理 1.11

VV为定义在数域F\mathbb{F}上的线性空间,WW为线性空间VV的子空间,则0VW\vec 0_V \in W.

证明

我们只需取λ=0\lambda=0原式便得证.

例题 1.15

在线性空间P2(x)\mathbb{P}_2(x)中, W={f(x)P2(x):f(1)=1}W = \lbrace f(x) \in \mathbb{P}_2(x) : f(1) = 1 \rbrace是否为P2(x)\mathbb{P}_2(x)的一个子空间?

解答 1.15

β={1,x,x2}\beta=\{1,x,x^2\}P2(x)\mathbb{P}_2(x)的标准基底, 那么 零向量0\vec 0代表的多项式即为g(x)=01+0x+0x2=0.g(x) = 0\cdot 1 + 0 \cdot x + 0 \cdot x^2 = 0. 然而我们发现g(1)=01g(1) = 0 \neq 1, 则因此0P2(x)W\vec 0_{\mathbb{P}_2(x)} \notin W, 所以WW不构成子空间.

随后,我们回到矩阵本身,设A\vec Am×nm \times n矩阵,我们知道可以用行向量和列向量对矩阵A\vec A进行表示,因此我们不妨设由列向量表示的矩阵A\vec AAc=(v1vn)\vec A_c = \begin{pmatrix} \vec v_1 & \cdots & \vec v_n \end{pmatrix}, 由行向量表示的矩阵A\vec AAr=(u1un)\vec A_r = \begin{pmatrix} \vec u_1 \\ \vdots \\ \vec u_n \end{pmatrix}. 我们把m×nm \times n矩阵A\vec A中由全部列向量构成的线性组合记作Span(Ac)\Span(\vec A_c), 由全部行向量构成的线性组合记作Span(Ar)\Span(\vec A_r), 所以我们得到 Span(Ac)Rm\Span(\vec A_c) \subset \mathbb{R}^m, Span(Ar)Rn\Span(\vec A_r) \subset \mathbb{R}^n.这样一来,我们就建立了子空间和矩阵之间的联系.

定义 1.13

m×nm \times n矩阵A\vec A中, 我们记A\vec A列空间 (Column Space)Span(Ac):=Col(A)\Span(\vec A_c):=\text{Col}(\vec A); A\vec A行空间 (Row Space)Span(Ar):=Row(A)\Span(\vec A_r) := \text{Row}(\vec A).

随后我们定义两个重要的向量空间: m×nm\times n矩阵A\vec A核空间 (Kernel Space)像空间 (Image Space). 二者的定义可以类比函数中的零点和值域: 核空间为所有使得Ax=0\vec A\vec x = \vec 0的向量x\vec x所构成的集合, 根据矩阵和向量乘法的定义, 我们不难发现xRn\vec x \in \mathbb{R}^n. 另一方面, A\vec A的像空间便可以理解为Ax\vec A\vec x的所有可能取值, 我们也不难发现y:=AxRm\vec y:= \vec A\vec x \in \mathbb{R}^m.

定义 1.14

A\vec Am×nm\times n矩阵.

A\vec A的核空间为 Ker(A):={xRn:Ax=0};\Ker(\vec A) := \{ \vec x \in \mathbb{R}^n : \vec A \vec x = \vec 0 \};

A\vec A的像空间为 Im(A):={yRm:xRn,y=Ax}.\image(\vec A):=\{\vec y \in \mathbb{R}^m: \exists \vec x \in \mathbb{R}^n, \vec y = \vec A\vec x \}.

定理 1.12

Ker(A)\Ker(\vec A)Rn\mathbb{R}^n的子空间; Im(A)\image(\vec A)Rm\mathbb{R}^m的子空间.

证明

x1,x2Ker(A)\vec x_1, \vec x_2 \in \Ker(\vec A), 常数cRc \in\mathbb{R}. 那么Ax1=0,Ax2=0\vec A\vec x_1=\vec 0, \vec A\vec x_2 = \vec 0. 因此根据矩阵与向量的运算法则, A(cx1+x2)=cAx1+Ax2=0.\vec A(c\vec x_1+\vec x_2) = c \vec A\vec x_1+\vec A\vec x_2 = \vec 0.Ker(A)Rn\Ker(\vec A) \subset \mathbb{R}^n. 另一方面, 由于y1,y2Im(A)\vec y_1, \vec y_2 \in \image(\vec A), 因此存在z1,z2Rn\vec z_1,\vec z_2 \in \mathbb{R}^n使得y1=Az1;y2=Az2\vec y_1 = \vec A\vec z_1; \vec y_2 = \vec A\vec z_2, 那么对于常数cRc\in\mathbb{R}, cy1+y2=A(cz1+z2)c\vec y_1+\vec y_2 = \vec A(c\vec z_1 + \vec z_2). 则Im(A)Rm\image(\vec A) \subset \mathbb{R}^m.

例题 1.16

设矩阵A=(102121011210)\vec A = \begin{pmatrix} 1 & 0 & 2 & -1 \\ 2 & 1 & 0 & 1 \\ -1 & 2 & 1 & 0 \end{pmatrix}, 据此分别求出Ker(A),Im(A)\Ker({\vec A}), \image({\vec A})的一组基底.

解答 1.16

我们先求出Im(A)\image(\vec A)的一组基底:

首先根据定义,我们知道Im(A)=Col(A)=Span{(121),(012),(201),(110)}\image({\vec A}) = \text{Col}(\vec A) = \Span \left\{ \begin{pmatrix} 1 \\ 2 \\ -1 \end{pmatrix} , \begin{pmatrix} 0 \\ 1 \\ 2 \end{pmatrix} , \begin{pmatrix} 2 \\ 0 \\ 1 \end{pmatrix} , \begin{pmatrix} -1 \\ 1 \\ 0 \end{pmatrix} \right\}, 我们因此得出Im(A)\image({\vec A})44个向量的线性组合. 由于我们知道Im(A)R3\image({\vec A}) \subset \mathbb{R}^3, 因此构成 Im(A)\image({\vec A})的基底中向量个数的最大值为33, 所以A\vec A的列向量彼此线性相关. 我们因此需要删去44个列向量中多余的向量.我们此时可以从第一个向量开始依次选择,首先(121)\begin{pmatrix} 1 \\ 2 \\ -1 \end{pmatrix} 自身线性无关, 随后我们考虑集合β={(121),(012)}\beta = \left\{ \begin{pmatrix} 1 \\ 2 \\ -1 \end{pmatrix} , \begin{pmatrix} 0 \\ 1 \\ 2 \end{pmatrix} \right\}, 不难验证该集合同样线性无关, 因此我们再选取集合γ={(121),(012),(201)}\gamma = \left\{ \begin{pmatrix} 1 \\ 2 \\ -1 \end{pmatrix} , \begin{pmatrix} 0 \\ 1 \\ 2 \end{pmatrix} , \begin{pmatrix} 2 \\ 0 \\ 1 \end{pmatrix} \right\}, 通过求解线性方程组的知识我们也不难求出该集合彼此线性无关. 此时线性无关向量的个数已经达到了其基底中向量的最大个数,所以我们据此构造出的集合γ\gamma便是Im(A)\image({\vec A})的一组基底.

我们随后求解Ker(A)\Ker(\vec A)的一组基底: 此时,不难发现我们只需要求解线性方程组Ax=0\vec A\vec x = \vec 0, 因此利用我们已经掌握的很熟练的线性方程组的相关知识,不难写出形如下式的矩阵

(102102101012100).\left(\begin{array}{cccc|c} 1 & 0 & 2 & -1 & 0 \\ 2 & 1 & 0 & 1 & 0 \\ -1 & 2 & 1 & 0 & 0 \end{array}\right).

对该矩阵进行高斯消元,不难得到其行最简形式为

(100311001051100017110).\left(\begin{array}{cccc|c} 1 & 0 & 0 & \frac{3}{11} & 0 \\ 0 & 1 & 0 & \frac{5}{11} & 0 \\ 0 & 0 & 1 & -\frac{7}{11} & 0 \end{array}\right).

根据求解线性方程组的知识,我们此时有33个前导变量,11个滞后变量, 我们选取第四列对应的未知数作为参数ss, 得到其解集为s(3115117111):sRs\begin{pmatrix} -\frac{3}{11} \\ -\frac{5}{11} \\ \frac{7}{11} \\ 1 \end{pmatrix} : s \in \mathbb{R}, 那么Ker(A)\Ker(\vec A)的一组基底即为(3115117111)\begin{pmatrix} -\frac{3}{11} \\ -\frac{5}{11} \\ \frac{7}{11} \\ 1 \end{pmatrix}.

通过这道题,我们有什么发现? 我们知道对于一个m×nm \times n的矩阵A\vec A而言, dim(Im(A))\dim(\image(\vec A))即为矩阵中彼此线性无关的列向量的最大数量, 这一就意味着根据定义, dim(Im(A))=rank(A)\dim(\image(\vec A)) = \rank(\vec A).在第一节里面,我定义矩阵的秩等于其行最简形矩阵中“前导变量”的数量, 因此像空间的维数也就等于前导变量的数量. 我们都知道,在行最简形矩阵中,一共只有前导变量和滞后变量两种,其数目之和等于矩阵的列数nn, 而从我们对刚才题目的求解看出,矩阵A\vec A的零空间又恰好是这些滞后变量的线性组合,这些向量彼此线性无关.也就是说滞后变量的数量也恰好是零空间的维数.至此,我们得出了一个线性代数中重要的定理之一——秩零定理 (Rank - Nullity Theorem).

定理 1.13

对任意的m×nm \times n矩阵A\vec A而言, dim(Ker(A))+dim(Im(A))=n\dim(\Ker({\vec A})) + \dim(\image({\vec A})) = n

证明

参见上文.

例题 1.17

m×nm \times n矩阵A\vec A满足Ker(A)=Im(A)\Ker({\vec A}) = \image({\vec A}), 那么nn的取值能否为114514114514 ?能否为191981191981 ?

解答 1.17

我们此时注意到nn的数目很大,并且mm不确定,因此不太可能去列线性方程组从而求解.因此我们直接使用秩零定理:由题意得dim(Ker(A))=dim(Im(A))\dim(\Ker(\vec A)) = \dim(\image(\vec A)), 那么 dim(Ker(A))+dim(Im(A))=2dim(Ker(A))=2dim(Im(A))=n\dim(\Ker({\vec A})) + \dim(\image({\vec A})) = 2\dim(\Ker({\vec A})) = 2 \dim(\image({\vec A})) = n, 由于线性空间的维数只能为整数,所以nn必为偶数,因此nn可以取114514114514,不能取191981191981. 至于怎么去实打实地找到满足Ker(A)=Im(A)\Ker({\vec A}) = \image({\vec A})的矩阵A\vec A, 学有余力的读者可以自行尝试.

定义 1.15

对于m×nm \times n矩阵A\vec A而言,我们定义A\vec A转置矩阵 (Transpose Matrix) 为一个n×mn \times m矩阵, 通常记作A\vec A^\top, 使得(A)ij=(A)ji(\vec A)_{ij} = (\vec A^\top)_{ji}

有了转置矩阵的概念之后,我们就再一次地建立起了列向量和行向量之间的联系.根据矩阵转置的定义,如果我们设 A=(v1vn)\vec A = \begin{pmatrix} \vec v_1 & \cdots & \vec v_n \end{pmatrix}, 那么 A=(v1vn)\vec A^\top = \begin{pmatrix} \vec v_1^\top \\ \vdots \\ \vec v_n^\top \end{pmatrix}, 根据行秩和列秩相等这一定理, 我们也知道矩阵的秩等于其转置矩阵的秩.

在本节的后半部分,我们将会研究不同线性空间之间的关系,准确来说我们会研究在给定的线性空间中,其子空间之间的联系.我们都知道对于集合而言,我们可以定义集合之间的交集与并集,那么对于线性空间而言,我们同样可以定义线性空间的交集与并集.

定义 1.16

U,VU,V均为某线性空间(通常为Rn\mathbb{R}^n)的子空间,我们定义线性空间U,VU,V的交集为UVU \cap V; 并集为UVU \cup V.设wUV\vec w \in U \cap V, 则wU\vec w \in UwV\vec w \in V ; 若wUV\vec w\in U \cup V, 则wU\vec w \in UwV\vec w \in V.

此时,我们自然而然会想UV;UVU \cap V ; U \cup V是否也为线性空间呢?在往下阅读我所给出的定理之前,读者不妨自行思考片刻,如果可能,尝试自己写出R2\mathbb{R}^2R3\mathbb{R}^3的两个子空间, 然后通过计算来判断.

定理 1.14

U,VU,V均为某线性空间的子空间, 则:

(i) UVU \cap V为线性空间;

(ii)UVU \cup V为线性空间的充要条件为UVU \subset VVUV \subset U.

证明

我们先证明UVU \cap V为线性空间: 设x,yUV,cF\vec x, \vec y \in U \cap V , c \in \mathbb{F}, 则 x+yU\vec x + \vec y \in Ux+yV\vec x + \vec y \in V, 即x+yUV\vec x + \vec y \in U \cap V ; cxUc \vec x \in UcxVc \vec x \in V, 即cxUVc\vec x \in U \cap V, 因此UVU \cap V为线性空间. 随后我们再证UVU \cup V为线性空间的充要条件为UVU \subset VVUV \subset U, 此时由于涉及到充要条件的证明,我们需要从前后两个方向进行证明.即:

(\Longrightarrow) 假设UVU \cup V为线性空间,则需证明UVU \subset VVUV \subset U.此时我们可以使用反证法,即假设UVU \subsetneq VVUV \subsetneq U, 此时即存在uU,uV\vec u \in U, \vec u \notin VvV,vU\vec v \in V , \vec v \notin U.由于UVU \cup V为线性空间,且uUV;vUV\vec u \in U \cup V ; \vec v \in U \cup V, 则u+vUV\vec u + \vec v \in U \cup V. 那么(u+v)uU(\vec u+\vec v) - \vec u \in U, 即vU\vec v \in U, 矛盾. 同理可证明u=(u+v)vV\vec u = (\vec u+\vec v) - \vec v \in V, 矛盾.

(\Longleftarrow) 假设UVU \subset VVUV \subset U,则需证明UVU \cup V为线性空间.由于U,VU,V本身即为线性空间,当UVU \subset VUV=VU \cup V = V; 当VUV \subset U时,UV=UU \subset V = U,所以此时UVU \cup V即为线性空间.因此,UVU \cup V为线性空间的充要条件为UVU \subset VVUV \subset U得证.

那么对于线性空间而言,有没有类似于实数之间的加法,乘法运算呢?答案是有的,只不过线性空间之间的加法和乘法运算法则与实数有所不同,我们先从定义较为简单的乘法运算说起.线性空间U,VU,V的乘法运算也被称作是线性空间的笛卡尔积 (Cartesian Product), 通常记作U×VU \times V, 其定义如下:

定义 1.17

U,VU,V为线性空间,我们定义线性空间U,VU,V的 笛卡尔积U×VU \times V为:

U×V={(u,v):uU,vV}.U \times V = \lbrace (\vec u , \vec v) : \vec u \in U , \vec v \in V \rbrace.

不难发现,笛卡尔积的结果其实是一个“坐标”,其中坐标里的元素分别对应两个线性空间里面的元素,这也是为什么在平面直角坐标系xOyxOy中任意一点(x,y)(x,y)有横坐标xx和纵坐标yy.我们称平面直角坐标系为R2\mathbb{R}^2,本质上就是笛卡尔积R×R\mathbb{R} \times \mathbb{R}的结果.同理我们还知道R3=R×R×R\mathbb{R}^3 = \mathbb{R} \times \mathbb{R} \times \mathbb{R}, 也就是为什么空间直角坐标系中的点分别对应了x,y,zx,y,z三个坐标.那么我们也不难发现,对于两个线性空间而言,其笛卡尔积同样为线性空间.

定理 1.15

U,VU,V均为线性空间,则U×VU \times V同样为线性空间.

我们同时也可以定义线性空间之间的加法运算:

定义 1.18

U,VU,V为线性空间,我们定义线性空间U,VU,V的 和U+VU + V

U+V={u+v:uU,vV}.U + V = \lbrace \vec u + \vec v : \vec u \in U , \vec v \in V \rbrace.

也就是说, U+VU+V中的任何一个向量均为UU中的一个向量u\vec uVV中的一个向量v\vec v的加和.在平面直角坐标系内,如果我们把UU当作xx轴,即U=Span{(10)}U = \Span \left\{ \begin{pmatrix} 1 \\ 0 \end{pmatrix} \right\},如果我们把VV当作yy轴,即V=Span{(01)}V = \Span \left\{ \begin{pmatrix} 0 \\ 1 \end{pmatrix} \right\}, 那么U+VU + V即为R2\mathbb{R}^2. 或者我们也可以令U=R2,V={0}U = \mathbb{R}^2, V = \lbrace \vec 0 \rbrace, 也能够产生同样的效果.我们由此发现,对于一个向量空间而言,其可以表示为数个子空间的加和. 我们其中会重点研究一种特殊的加和:直和 (Direct Sum). 其定义如下

定义 1.19

U,VU,V为线性空间WW的子空间, 若 W=U+V\hspace{0.1cm} W = U + VUV={0},U \cap V = \lbrace \vec 0 \rbrace, 我们称WWU,VU,V的直和, 记作W=UVW = U \bigoplus V.

我们不难发现,如果W=UVW = U \bigoplus V, 那么U,VU,V的交集有且只有零向量,这一就意味着这两个线性空间彼此之间没有太多的关联,我们也可以称UUVV线性无关.此时我们不妨再回到基底的概念,此时我们又引出了一条重要的定理:

定理 1.16

设线性空间U,V,WU,V,W满足W=UVW = U \bigoplus V, 设β1\beta_1UU的一组基底, β2\beta_2VV的一组基底,则β1β2\beta_1 \cup \beta_2WW的一组基底.

证明

由直和的性质,我们已经知道W=Span(β1β2)W = \Span(\beta_1 \cup \beta_2), 因此我们只需证明β1β2\beta_1 \cup \beta_2线性无关.不妨设β1={v1,,vm}\beta_1 = \lbrace \vec v_1 , \cdots , \vec v_m \rbrace; β2={vm+1,,vn}\beta_2 = \lbrace v_{m+1} , \cdots, \vec v_n \rbrace, 我们考虑线性组合 (c1v1++cmvm)+(cm+1vm+1++cnvn)=0(c_1 \vec v_1 + \cdots + c_m \vec v_m) + (c_{m+1} \vec v_{m+1} + \cdots + c_n \vec v_n) = 0, 其中令x=(c1v1++cmvm)\vec x = (c_1 \vec v_1 + \cdots + c_m \vec v_m), y=(cm+1vm+1++cnvn)\vec y = (c_{m+1} \vec v_{m+1} + \cdots + c_n \vec v_n), 根据直和的性质,我们再一次知道x+y=0\vec x + \vec y = \vec 0当且仅当x=y=0\vec x =\vec y = \vec 0, 即c1=c2==cn=0c_1 = c_2 = \cdots = c_n = 0. 因此β1β2\beta_1 \cup \beta_2WW的一组基底.

至此,第一章的全部内容到此结束.我们在第一章中主要学习了线性方程组与矩阵和向量之间的关系和运算,那么在下一章——《作用于线性空间之间的变换》中,我们会重点研究线性变换,从宏观的角度重新审视第一章所学的内容.

{1.4 练习}

1. 设矩阵P=(311201421111)\vec P = \begin{pmatrix} 3 & 1 & 1 \\ 2 & 0 & 1 \\ 4 & 2 & 1 \\ 1 & -1 & 1 \end{pmatrix}, 分别求出Ker(P),Im(P)\Ker(\vec P), \image(\vec P)的一组基底.

2. 在线性空间P3(x)\mathbb{P}_3(x)中, 已知W={f(x)P3(x):f(1)+f(1)=0}W = \lbrace f(x) \in \mathbb{P}_3(x) : f'(1) + f(1) = 0 \rbrace, 证明WWP3(x)P_3(x)的子空间, 并分别求出Ker(W),Im(W)\Ker(W), \image(W)的一组基底.