4.1 内积空间的基本定义与性质

在前面三章的学习中,我们主要学习了作用于线性空间的线性变换.在本章中我们将引入一种全新的空间：内积空间 (Inner Product Space).内积空间与向量空间存在着诸多的相同之处和不同之处,我们也可以理解为内积空间是一定程度上对向量空间进行扩充而得到的.在内积空间中,我们所谈论的数域要进行扩充：引入复数域 $\mathbb{C}$ , 在此基础上我们会重新定义内积空间,以及内积空间的性质,最后我们也会从线性变换的角度去审视内积空间.

正如本章序言所讲,在本章中我们所考虑的数域 $\mathbb{F}$ 为复数域 $\mathbb{C}$ . 内积空间可以理解为是在线性空间 $V$ 的基础上增加了一种二元运算 $f : (\vec v_1 , \vec v_2) \mapsto \mathbb{F}$ . 如果设 $V$ 为一个内积空间,同时 $\vec v_1, \vec v_2 \in V$ , 那么这种二元运算 $f$ 也被我们被我们计作 $\langle \vec v_1, \vec v_2 \rangle$ , 称作内积(Inner product), 且该二元运算满足特定的性质.

定义 4.1

定义 $V$ 为作用于数域 $\mathbb{F} =\mathbb{C}$ 上的线性空间. 若 $V$ 中存在二元运算 $\langle \hspace{0.2cm}, \hspace{0.2cm} \rangle: V \times V \to \mathbb{C}$ , 且对于任意的 $\vec u, \vec v, \vec w \in V$ 以及 $\lambda \in \mathbb{C}$ , 满足以下四条性质, 我们便称具备这种运算的线性空间 $V$ 为一个内积空间 (Inner Product Space).

① $\langle \vec u+ \vec v , \vec w \rangle = \langle \vec u, \vec w \rangle + \langle \vec v, \vec w \rangle$ ;

② $\langle \lambda \vec u, \vec v \rangle = \lambda \langle \vec u, \vec v \rangle$ ;

③ $\langle \vec u, \vec v \rangle = \overline{\langle \vec v, \vec u \rangle}$ ;\

④ $\langle \vec u, \vec u \rangle \geq 0$ , 且 $\langle \vec u, \vec u \rangle = 0$ 当且仅当 $\vec u=\vec 0$ .

由内积的定义, 我们可以很容易地得到以下性质:

推论 4.1

设 $V$ 为定义于复数域 $\mathbb{C}$ 上的内积空间. 则对于任意的 $\vec u, \vec v, \vec w \in V$ $\lambda \in \mathbb{C}$ :

① $\langle \vec u ,\vec v + \vec w \rangle = \langle \vec u, \vec v \rangle + \langle \vec u, \vec w \rangle$ ;

② $\langle \vec u, \lambda \vec v \rangle = \overline{\lambda} \langle \vec u, \vec v \rangle$ ;

③ $\langle \vec 0 , \vec v \rangle = \langle \vec v, \vec 0 \rangle = 0$ .

证明

①:

\la \vec u , \vec v+\vec w \ra = \overline{\la \vec v + \vec w , \vec u \ra} = \overline{\la \vec v,\vec u\ra} + \overline{\la \vec w, \vec u\ra} = \la\vec u,\vec v\ra + \la \vec u, \vec w \ra.

②:

\la \vec u, \lambda\vec v \ra = \overline{\la \lambda\vec v,\vec u \ra} = \overline{\lambda \la \vec v,\vec u\ra} = \overline{\lambda} \la\vec u,\vec v\ra.

③:

\la \vec 0,\vec v \ra = \la \vec v - \vec v, \vec v\ra = \la\vec v ,\vec v \ra - \la \vec v, \vec v \ra = 0.

∎

定义 4.2

设 $V$ 为作用于数域 $\mathbb{F}$ 上的线性空间. 若 $\forall \vec u, \vec v \in V, \alpha \in \mathbb{F}$ , 一元函数 $||\cdot || : V \to [0,\infty)$ 满足

① $||\vec v|| \geq 0$ , 且 $||\vec v|| = 0$ 当且仅当 $\vec v = \vec 0$ ;

② $||\alpha \vec v || = |\alpha| \cdot ||\vec v||$ ;

③ $||\vec u+\vec v|| \leq ||\vec u|| + ||\vec v||$ .

我们则称 $||\cdot||$ 为 $V$ 上的模 (Norm).

在此情况下, $(V,||\cdot||)$ 也被称作赋范向量空间 (Normed Vector Space). 在内积空间中, 我们可以用向量与向量自身的内积来定义模:

定理 4.1

任意内积空间 $V$ 均为赋范向量空间. 设 $\vec v\in V$ , 则 $\vec v$ 的模为

\Vert \vec v \Vert = \sqrt{\langle \vec v, \vec v \rangle}.

若 $\Vert \vec v \Vert = 1$ , 我们将其称作单位向量 (Unit Vector).

证明

我们只需证明 $||\vec v|| = \sqrt{\la \vec v, \vec v \ra}$ 满足模的三条定义. 第一条定义显然成立, 对于第二条而言:

||\alpha\vec v|| := \sqrt{\la \alpha\vec v, \alpha\vec v \ra} = \sqrt{\alpha \cdot \bar{\alpha} \la \vec v, \vec v \ra} := |\alpha| \cdot||\vec v||.

第三条定义在我们在后面提出的定理中便有证明.

∎

我们随后一起定义一些常见的内积空间:

• (A) 当我们考虑线性空间 $\mathbb{C}^n$ 时, 设 $\vec x,\vec y \in \mathbb{C}^n$ , $\vec x = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}; \vec y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}$ . 定义

\langle \vec x, \vec y \rangle = \sum_{i=1}^n x_i \overline{y_i} = \vec x^\top \cdot \overline{\vec y},

这种运算也被我们称作是向量的数量积 (Dot Product),记作 $\vec x \cdot \vec y$ . 除非特别强调, 所有作用于 $\mathbb{C}^n$ (或 $\mathbb{R}^n$ )向量上的内积均为数量积. 此时我们定义向量 $\vec x$ 的模为

||\vec x|| = \sqrt{\la \vec x, \vec x \ra } = \sqrt{ \vec x^\top \cdot \overline{\vec x}}.

• (B) 当我们考虑作用于函数上的内积空间时,设 $f(x),g(x) \in V$ 且 $f(x),g(x)$ 为定义在 $[a,b]$ 上的可积复变函数, 那么我们可以定义

\langle f(x), g(x) \rangle = \int_a^b f(x) \overline{g(x)} dx.

此时, 我们通常取函数的 $L^2$ 模:

||f||^2 = \left(\int_a^b f(x)\cdot \overline{f(x)} dx\right)^{1/2}.

• (C) 对于 $m \times n$ 矩阵 $\vec A,\vec B\in M_{m\times n}(\mathbb{C})$ 而言, 其内积可定义为

\la \vec A, \vec B \ra = \tr(\vec A^\top \overline{B}).

既然我们分别定义了内积和模, 我们此时便很想知道他们之间有什么样的关系? 我们提出一条非常重要且完美的不等式: 柯西不等式.

定理 4.2

设 $V$ 为一个内积空间且 $\vec u, \vec v \in V$ , 那么

\vert \langle \vec u, \vec v \rangle \vert \leq \Vert \vec u \Vert\cdot \Vert \vec v \Vert.

不等式取得“ $=$ ”当且仅当向量 $\vec u = k \vec v$ (即 $\vec u, \vec v$ 共线.)

证明

我们做一个简化证明: 假设数域为 $\mathbb{R}$ , 令 $g(t) = ||\vec u + t\vec v||^2$ , 则

\begin{aligned} g(t) &= ||\vec v||^2 t^2 +2\la \vec u ,\vec v \ra t + ||\vec u ||^2. \end{aligned}

不难发现 $g(t)$ 为开口向上的二次函数, 所以当 $g(t)$ 取最小时, 有

t_{\text{min}}= -\frac{b}{2a} = -\frac{2\la \vec u , \vec v \ra}{2||\vec v||^2}.

根据定义, $g(t)\geq 0$ 恒成立, 那么

||\vec v||^2 \cdot \frac{|\la \vec u , \vec v \ra |^2}{||\vec v||^4} -\frac{2|\la \vec u,\vec v \ra |^2}{||\vec v||^2} + ||\vec u||^2 \geq 0.

通过化简我们便得到

||\vec u||^2 \cdot ||\vec v||^2 \geq | \la \vec u, \vec v \ra |^2.

若 $\vec u, \vec v$ 共线, 原式显然成立.

∎

柯西不等式的应用十分广泛, 经常可以用作不等式证明的工具. 我们来看一个例子:

例题 4.1

设 $a_1,a_2,\cdots,a_n \in \mathbb{R}$ , 证明：

\left( \sum_{i=1}^n a_i \right)^2 \leq n \left( \sum_{i=1}^n a_i^2 \right).

解答 4.1

我们不妨设 $\vec x = \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{pmatrix}; \vec y = \begin{pmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix}$ , 那么我们有

\left( \langle \vec x, \vec y \rangle \right)^2 = (a_1 + a_2 + \cdots + a_n)^2 ;\quad ||\vec x||^2 = a_1^2+\cdots+a_n^2; \quad \Vert \vec y \Vert^2 = n.

由柯西不等式, 我们便可以得到

(a_1 + a_2 + \cdots + a_n)^2 \leq n (a_1^2 + a_2^2 + \cdots + a_n^2)

由此原不等式得证.

我们可以进一步利用柯西不等式来证明另外一条重要的不等式：三角不等式 (Triangle Inequality).

定理 4.3

设 $V$ 为一个内积空间且 $\vec u, \vec v \in V$ , 则

\Vert \vec u + \vec v \Vert \leq \Vert \vec u \Vert + \Vert \vec v \Vert.

不等式取得“ $=$ ”当且仅当向量 $\vec u = k \vec v$ , $k>0$ (即 $\vec u, \vec v$ 共线且同向.)

证明

我们只需证明

\Vert \vec u + \vec v \Vert^2 \leq (\Vert \vec u \Vert + \Vert \vec v \Vert )^2,

即

\langle \vec u + \vec v , \vec u + \vec v \rangle \leq \langle \vec u, \vec u \rangle + \langle \vec v, \vec v \rangle + 2 \Vert \vec u \Vert \Vert \vec v \Vert,

即

\langle \vec u , \vec u \rangle + \langle \vec v, \vec v \rangle + \langle \vec u, \vec v \rangle + \overline{\langle \vec u, \vec v \rangle} \leq \langle \vec u, \vec u \rangle + \langle \vec v, \vec v \rangle + 2 \Vert \vec u \Vert \Vert \vec v \Vert.

根据共轭复数的性质, $\Vert \vec u \Vert = \Vert \overline{\vec u} \Vert$ , 因此再由柯西不等式即可得证.

∎

{4.1 练习}

1. 证明本节中(A),(B),(C)三个例子均满足内积的定义.

2. [平行四边形法则] 设 $V$ 为一个内积空间，且 $\vec v, \vec u \in V$ . 证明

2 \Vert \vec v \Vert^2 + 2 \Vert \vec u \Vert^2 = \Vert \vec v + \vec u \Vert^2 + \Vert \vec v - \vec u \Vert^2.

3. 在 $\langle \vec v, \vec u \rangle$ 中，我们定义 $\mathbf{Re}(\langle \vec v, \vec u \rangle)$ 为其实部， $\mathbf{Im}(\langle \vec v, \vec u \rangle)$ 为其虚部. 证明：

\mathbf{Re}(\langle \vec v, \vec u \rangle) = \frac{1}{2} \left( \Vert \vec v \Vert^2 + \Vert \vec u \Vert^2 - \Vert \vec v - \vec u \Vert^2 \right);

以及

\mathbf{Im}(\langle \vec v, \vec u \rangle) = \frac{1}{2} \left( \Vert \vec v \Vert^2 + \Vert \vec u \Vert^2 - \Vert \vec v - i \vec u \Vert^2 \right).

4. 设实数 $a_1,\cdots,a_n > 0$ . 证明:

\frac{1}{a_1} + \cdots+ \frac{1}{a_n} \geq \frac{n^2}{a_1+\cdots+a_n}.

5. [度量空间] 设 $S$ 为任意集合, 若 $S$ 中存在二元运算 $d(\cdot,\cdot):S\times S \to \mathbb{R}$ , 使得：

① $d(\vec x, \vec y) \geq 0$ , 不等式取得“ $=$ ”当且仅当 $\vec x = \vec y$ ;

② $d(\vec x, \vec y) = d(\vec y, \vec x)$ ;

③ $d(\vec x, \vec z) \leq d(\vec x, \vec y) + d(\vec y, \vec z)$ .

那么二元函数 $d(\cdot,\cdot)$ 便称作是 $S$ 上的一个度量 (Metric), $(S, d)$ 也被称作度量空间 (Metric Space). 设 $V$ 为定义在 $\mathbb{R}$ 上的内积空间, 那么 $d(\vec u, \vec v) = || \vec u - \vec v||$ 为 $V$ 上的一个度量.