7.1 *统计推断基础

在我看来, 想要更好地了解线性回归的话就必然要有扎实的统计推断基础. 尽管这本书是一本关于线性代数的书籍, 但我的初衷却是想让读者学到尽可能多的应用知识. 在当今环境下, 学好统计推断迫在眉睫. 因此在这一节里面我将用最简捷明了的篇幅带领大家学习统计推断中的重要概念和结论.

*{概率测度}

概率论为测度论的重要应用之一. 在此我将简要地叙述概率测度中的常见概念:

• 样本空间 (Sample Space): 我们通常使用集合$\Omega$来表示样本空间. 样本空间代表了对于我们的研究对象而言所有可能发生的事件. 比如当我们研究抛一枚硬币时, 我们便可以将样本空间记作$\Omega = \{ H, T\}$. 其中$H$表示硬币正面朝上; $T$表示硬币背面朝上. 还比如当我们研究某物种种群的数量时, 我们便可以取样本空间为全体自然数, $\Omega = \{0,1,2,\cdots\}$.

• 样本空间的$\sigma$-代数 (Sigma Algebra): 我们通常使用$\mathcal{F}$表示. $\mathcal{F}$为由$\Omega$中的元素所组成的新集合. 我们称$\mathcal{F}$是样本空间的$\Omega$的$\sigma$-代数, 如果其满足以下三条性质:

(i) $\Omega \in \mathcal{F}$;

(ii) 对任意的$A \in \mathcal{F}$, 其关于$\Omega$的补集$\Omega \setminus A \in \mathcal{F}$;

(iii) 若$A_1,A_2,\cdots\in \mathcal{F}$, 那么其并集$\displaystyle{\bigcup_{i=1}^\infty A_i \in \mathcal{F}}$.

在现阶段, 我们可以将$\mathcal{F}$简单理解为将样本空间$\Omega$中的元素进行任意交集, 并集与补集运算所得到的新集合. 那么对于抛一枚硬币而言, 此时$\Omega$的$\sigma$-代数即为$\mathcal{F}=\{ \{ H\}, \{T \}, \{H,T\}, \varnothing \}$. 另外, 我们再定义 Borel $\sigma$-代数 (Borel Sigma-Algebra), 简记为$B(\mathbb{R})$, 且我们称其中的元素为Borel集 (Borel Set). 在本书涉及的常见集合中,例如区间、有限并、可数并、可数交等,都可以视为 Borel 集.我们不会涉及非 Borel 集的例子.

• 概率测度 (Probability Measure): 我们通常使用$\P$来表示概率测度. 概率测度$\P$是定义在样本空间$\Omega$的$\sigma$-代数$\mathcal{F}$上的函数. 对于$A \in \mathcal{F}$, 我们记$\P(A)$为事件$A$发生的概率. 概率测度满足以下性质:

(i) 对任意的$A \in \mathcal{F}$, $0\leq \P(A) \leq 1$, 且$\P(\Omega)=1$;

(ii) 若$A_1,A_2,\cdots \in \mathcal{F}$且$A_i \cap A_j = \varnothing, i\neq j$, 那么

$$\P\left( \bigcup_{i=1}^\infty A_i \right) = \sum_{i=1}^\infty \P(A_i).$$

我们习惯性地把$(\Omega, \mathcal{F}, \P)$称为概率空间 (Probability Space). 对于$A,B \in \mathcal{F}$, 我们称事件$A,B$的交事件为$A \cap B$, 即事件$A,B$同时发生; 我们称$A,B$的并事件为$A \cup B$, 即事件$A,B$至少有一个发生. 若$\P(A \cap B) = \P(A)\P(B)$, 我们则称事件$A,B$相互独立 (Independent), 也就是说事件$A$的发生不会影响到事件$B$的发生, 反之同样成立.

条件概率 (Conditional Probability) 也是我们重点研究的对象之一. 对于事件$A,B\in \mathcal{F}$, 条件概率$\P(A|B)$表示已知事件$B$发生的情况下事件$A$发生的概率. 其计算公式为

$$\P(A|B) = \frac{\P(A \cap B)}{\P(B)}.$$

同理, 我们有$\P(B|A) = \frac{\P(B \cap A)}{\P(A)}$. 因此综合二式我们可以得到

$$\P(A|B) = \frac{\P(B|A)\P(A)}{\P(B)}.$$

此时, 若$A, B$相互独立, 我们便有$\P(A|B)=\P(A)$, 更加清晰地诠释了事件$B$的发生不影响事件$A$的发生. 我们如果考虑样本空间$\Omega$的一个划分: $\Omega = B_1 \cup B_2 \cup \cdots \cup B_n$, 且$B_i \cap B_j = \varnothing$, 那么对于任意的事件$B$, 我们可以求出$B$在$B_i$发生下的条件概率$\P(B|B_i)$. 如果我们此时知道$\P(B_i)$的概率, 我们便可以将其进行结合从而得到全概率公式 (Law of Total Probability):

$$\P(B) = \P(B|B_1)\P(B_1) + \cdots+\P(B|B_n)\P(B_n).$$

那么, 由此我们便可以得出Bayes 定理 (Bayes Theorem):

$$\P(B_i|B) = \frac{\P(B|B_i)\P(B_i)}{\P(B|B_1)\P(B_1)+\cdots+\P(B|B_n)\P(B_n)}.$$

*{随机变量}

随机变量 (Random Variables)为将样本空间中的元素映射到实数的一个函数. 我们通常用$X$来表示随机变量, 只不过此时随机变量的取值不再介于$0$到$1$之间, 而是可以根据我们的研究兴趣而自由选择. 比如在抛硬币中, 我们规定正面朝上时得$1$分, 反面朝上时得$0$分. 此时我们便有$X(H)=1, X(T)=0$. 当然, 我们还有其它更多的方法去定义这个随机变量, 比如正面得$5$分等. 设$B$为任意一Borel集. 若函数$X: \Omega \to \mathbb{R}$满足 $X^{-1}(B) := \{ A \in \Omega: X(A) \in B\} \in \mathcal{F}$, 我们则称$X$为一随机变量.

该定义告诉我们$X$作为随机变量的充要条件为任意Borel集$B$, 其原像为$\mathcal{F}$中的元素. 在实践中, 我们往往将$B$取区间$(-\infty, x]$. 即对所有的$x\in\mathbb{R}$,

$$X^{-1}((-\infty,x]) = \{ w \in \Omega : X(w) \leq x \} \in \mathcal{F}.$$

我们不妨回到最开始抛硬币的例子中: 设正面朝上得$1$分, 反面朝上得$0$分, 我们有$X(H)=1, X(T)=0$. 那么对于$x$而言, 我们分三种情况讨论:

• 若$x <0$. 此时 我们知道没有相应的事件$A \in \Omega$使得$X(A)<0$, 那么此时的原像便为空集$X^{-1}((-\infty, x])=\varnothing$, 而我们前面知道$\varnothing \in \mathcal{F}$;

• 若$0\leq x < 1$, 此时有$T$满足条件, 因为$X(T)=0$. 因此$X^{-1}((-\infty,x])=\{T \}\in \mathcal{F}$;

• 若$x\geq 1$, 此时$H,T$均满足条件. 因此$X^{-1}((-\infty, x]) = \{H,T\} =\Omega \in \mathcal{F}$.

由此我们得知$X$即为随机变量. 随机变量满足线性关系, 即当$X,Y$均为随机变量, $a,b$均为常数时, $aX+bY$也为随机变量. 随机变量分为两类: 离散型随机变量 (Discrete Random Variables)与连续型随机变量 (Continuous Random Variables). 对于离散型随机变量而言, 其函数取值通常为整数: 即$X=0,1,2,3,\cdots$. 对于连续型随机变量而言, 其取值通常为一个连续的区间$[a,b]$. 随机变量$X$的分布函数 (Distribution Function), 通常记作$F(x)$, 被定义为是使得随机变量的取值小于$x$的概率, 即

$$F(x) := \P( \{ w \in \Omega: X(w) \leq x \}),$$

我们也通常将其简记为$\P(X \leq x)$. 根据定义, 分布函数的取值为$0$到$1$之间, 且单调递增. 在离散型随机变量中, 假设随机变量取得数值$i$的概率为$p_i$, $\P(X = i) = p_i$. 那么

$$F(x) = \sum_{i \leq x} p_i,$$

此时$p_i$被称作是离散型随机变量$X$的概率质量函数 (Probability Mass Function). 而对于连续型随机变量而言, 加和的形式即被替换成了积分:

$$F(x) = \int_{-\infty}^x f(t) dt,$$

此时$f(x)$也被称作是连续性随机变量$X$的概率密度函数 (Probability Density Function).

设$X$为随机变量, 我们假设随机变量$Y$为关于$X$的一元函数, 即$Y = g(X)$. 我们假设函数$g$是单调且光滑的, 这样一来, 我们便知道$Y$的分布函数满足

$$F_Y(y)=\P(Y \leq y) = \P(g(X) \leq y) = \P(X \leq g^{-1}(y)),$$

其中$g^{-1}(y)$为函数$g$的反函数. 那么由此一来我们便有

$$F_Y(y) = \int_{-\infty}^{g^{-1}(y)} f_X(x) dx.$$

再根据微积分基本定理, $Y$的概率密度函数即可写作

$$f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dx}\int_{-\infty}^{g^{-1}(y)} f_X(x) dx = f_X(g^{-1}(y))\cdot \left| \frac{d}{dy} g^{-1}(y) \right|.$$

*{随机变量的期望与方差}

对于一个随机变量而言, 我们定义其期望 (Expectation), 通常记作$\E[X]$, 为

$$\E[X] = \sum_i i p_i, \text{ 若} X \text{为离散型随机变量}; \quad\E[X]=\int_{-\infty}^\infty x f(x) dx, \text{ 若} X \text{为连续型随机变量},$$

而对于关于$X$的连续函数$g(X)$而言, 随机变量$g(X)$的期望满足

$$\E[g(X)] = \sum_i g(i) p_i, \text{ 若} X \text{为离散型随机变量}; \quad\E[g(X)]=\int_{-\infty}^\infty g(x) f(x) dx, \text{ 若} X \text{为连续型随机变量}.$$

随机变量的期望同样满足线性关系. 设$X,Y$为随机变量, $a,b$为常数, 则$\E[aX+bY] = a\E[X]+b\E[Y]$. 我们同时定义随机变量$X$的方差 (Variance), 通常记作$\Var(X)$, 为

$$\Var(X) = \E\Big[ (X - \E[X])^2 \Big] := \E[X^2] - \Big( \E[X] \Big)^2.$$

对于随机变量$X$和常数$c$而言, $\Var(cX) = c^2\Var(X)$, $\Var(c) = 0$. 对于随机变量而言, 有两个重要的不等式. 它们分别为Markov 不等式 (Markov Inequality)与Chebyshev 不等式 (Chebyshev Inequality):

• Markov不等式: 对于非负随机变量$X$而言, 设$x \neq 0$, 则 $\P(X \geq x) \leq \displaystyle{ \frac{\E[X]}{x} }$.
• Chevbyshev 不等式: 对随机变量$X$和任意的$x>0$, 有$\displaystyle{ \P(|X-\E[X]| \geq x ) \leq \frac{\Var(X)}{x^2} }$.

我们最后给出随机变量的矩母函数 (Moment Generating Function)的定义: 对于随机变量$X$而言, 其矩母函数$M_X(t), t>0$为

$$M_X(t) = \E[e^{tX}] = \begin{cases} \sum_{i} e^{ti}\cdot \P(X=i) & \text{ 若} X \text{为离散型随机变量} \\ \int e^{tx} f_X(x) dx & \text{若} X \text{为连续型随机变量} \end{cases}.$$

矩母函数和随机变量之间有着一一对应的关系. 这一点同概率密度(质量)函数一样. 不同的随机变量便对应着不同的矩母函数与概率密度(质量)函数.

*{随机变量的联合分布}

对于多个随机变量而言, 我们同样可以定义它们的联合分布函数 (Joint Distribution Function). 我们设$X_1,X_2,\cdots,X_n$为随机变量, 且$X_1 \sim f_1(x), \cdots, X_n \sim f_n(x)$, 那么联合分布函数$F(x_1,x_2,\cdots,x_n)$的定义为

$$F(x_1,x_2,\cdots,x_n) = \P(X_1\leq x_1 \cap X_2 \leq x_2 \cap \cdots \cap X_n \leq x_n).$$

若$X_1,\cdots,X_n$均为连续性随机变量, 那么存在唯一的函数$f(x_1,\cdots,x_n)$, 使得

$$F(x_1,\cdots,x_n) = \int_{-\infty}^{x_1}\cdots\int_{-\infty}^{x_n} f(x_1,\cdots,x_n) dx_n\cdots dx_1.$$

我们称$f(x_1,\cdots,x_n)$为$X_1,\cdots,X_n$的联合密度函数 (Joint Density Function). 对于离散型随机变量而言我们只需要将积分替换成求和即可.

设$X \sim f(x), Y \sim g(y)$为两个连续性随机变量, 令$f(x,y)$为其联合密度函数. 我们此时可以定义$X, Y$的边际密度函数 (Marginal Density Function):

$$f(y) := \int_{-\infty}^\infty f(x,y) dx, \quad f(x) = \int_{-\infty}^\infty f(x,y) dy.$$

若

$$F(x,y) = \P(X \leq x) \cdot \P(Y \leq y) = \int_{-\infty}^x f(x) dx \cdot \int_{-\infty}^y g(y)dy,$$

我们则称随机变量$X,Y$相互独立. 对于随机变量$X,Y$而言, 我们定义它们之间的协方差 (Covariance)为

$$\Cov(X,Y) = \E\Big[(X-\E[X])(Y-\E[Y])\Big]=\E[XY]-\E[X]\E[Y],$$

其中

$$\E[XY] = \iint xy f(x,y) dxdy.$$

若$X,Y$相互独立, 则$\Cov(X,Y) = 0$.

*{大数定律与中心极限定理}

在本节里面我们将考虑一个随机变量列$X_1,X_2,\cdots$, 并研究其性质. 若$X_1,X_2,\cdots$独立, 且服从相同的概率密度函数(概率质量函数) $f(x)$, 我们称$\{ X_n\}_{n=1}^\infty$独立同分布 (Independent and Identically Distributed. 通常记作$X_1,X_2,\cdots \overset{i.i.d}{\sim} f(x)$.独立同分布且期望存在的随机变量列满足弱大数定律 (Weak Law of Large Numbers): 记$\E[X_1]=\E[X_2]=\cdots=\mu$,

$$\frac{1}{n} (X_1+\cdots+X_n) \overset{\P}{\to} \mu,$$

我们通常将$\frac{1}{n}(X_1+\cdots+X_n)$记作样本均值 (Sample Mean)(或样本矩). 此时我们称样本均值依概率收敛 (Convergence in Probability)于$\mu$, 记作$\overline{X}_n \overset{\P}{\to} \mu$. 随机变量列$\{X_n\}$依概率收敛于$X$的严格定义为: 对任意的$\epsilon>0$, 都有

$$\lim_{n \to \infty} \P\Big( |X_n - X| > \epsilon \Big) = 0.$$

除了弱大数定律外, 还存在强大数定律 (Strong Law of Large Numbers). 在强大数定律下样本均值几乎处处收敛 (Amlost Surely Convergence)于$\mu$, 记作$\overline{X}_n\overset{a.s}{\to}\mu$. 随机变量列$\{X_n\}$几乎处处收敛于$X$的严格定义为:

$$\P\Big( \lim_{n \to \infty} X_n = X) = 1.$$

目前阶段读者不需要知道二者之间的差别. 如感兴趣, 欢迎阅读测度论相关的书籍. 我们再定义一种收敛类型: 弱收敛 (Weak Convergence), 通常记作$\overset{d}{\to}$. 该收敛可以理解为是在分布函数层面上的收敛. 即若随机变量列$\{X_n\}$弱收敛于$X$, 那么设$F_n$为$X_n$的分布函数, $F$为$X$的分布函数, 则

$$\lim_{n\to\infty} F_n(x) = F(x).$$

中心极限定理 (Central Limit Theorem) 告诉我们, 对于期望($\mu$)和方差$(\sigma^2)$均存在的独立同分布随机变量列$\{X_n\}$,

$$Z_n = \frac{\overline{X}_n - \mu}{\sigma/\sqrt{n}} \overset{d}{\to} N(0,1),$$

即随机变量列$Z_n$弱收敛于正态分布$N(0,1)$的概率密度函数. 此时正态分布$N(0,1)$对应的概率密度函数即为

$$f(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}.$$

当我们知道了随机变量列$\{X_n\}$的收敛性后, 我们还可以研究其变换$\{ g(X_n) \}$的收敛性. 假设$g(x)$为连续函数, 且$X_n$弱收敛于$X$:$X_n \to X$, 那么根据连续映射定理 (Continuous Mapping Theorem), 我们有

$$g(X_n) \overset{d}{\to} g(X).$$

*{最大似然估计}

我们在统计推断中, 往往会假设我们获得的样本符合独立同分布的特征. 我们记$X_1,\cdots,X_n \overset{i.i.d}{\sim } f(x;\theta)$. 其中$f$为随机变量的概率密度(质量)函数, 而$\theta$为参数. 比如对于指数分布而言, 其概率密度函数为

$$f(x;\theta) = \frac{1}{\theta} e^{-x/\theta};$$

而对于正态分布而言, 其概率密度函数为

$$f(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} e^{-(x-\mu)^2/2\sigma^2}.$$

通常我们会假设我们已经知道了这组独立同分布随机变量所属的分布类型. 那么我们只需要估计出里面的参数$\theta$便可以更好地了解其分布情况. 我们将这类问题称作是参数估计 (Parameter Estimation). 此时我们拥有的数据仅为$X_1,\cdots,X_n$这些观测到的样本, 我们定义参数$\theta$的一个估计量 (Estimator) 即为关于$X_1,\cdots,X_n$的一个函数. 比如样本均值$\frac{1}{n}(X_1+\cdots+X_n)$即为一个估计量. 此外, 形式简单的$X_1+X_2$也为一个估计量. 我们用无偏性 (Unbiasedness)来衡量估计量的好坏. 若某估计量$T(X_1,\cdots,X_n)$满足$\E[T(X_1,\cdots,X_n)] = \theta$, 我们则称$T(X_1,\cdots,X_n)$为关于$\theta$的无偏估计量 (Unbiased Estimator); 同时若估计量$T(X_1,\cdots,X_n)$依测度收敛于$\theta$, 我们则称$T(X_1,\cdots,X_n)$为关于$\theta$的一致估计量 (Consistent Estimator). 比如在我们的例子中, 样本均值的期望满足

$$\E\left[ \frac{1}{n}(X_1+\cdots+X_n ) \right] = \frac{1}{n}\Big(\E[X_1] + \E[X_2] + \cdots + \E[X_n] \Big) = \frac{1}{n}\cdot n\mu = \mu,$$

因此样本均值$\overline{X}_n$为关于$\mu$的无偏估计量.

最大似然估计 (Maximum Likelihood Estimator) 是目前使用最广泛的参数估计法之一. 对于给定的独立同分布样本$X_1,\cdots,X_n \overset{i.i.d}{\sim} f(x;\theta)$, 假设我们得出的样本观测值为$x_1,\cdots,x_n$. 那么该样本的似然函数为

$$L(\theta) = \prod_{i=1}^n f(x_i;\theta).$$

我们可以将其看作是关于$\theta$的一个函数. 那么在此情况下参数$\theta$的最大似然估计量$\hat{\theta}_{MLE}$即为使得似然函数$L(\theta)$取得极大值时的$\theta$取值:

$$\hat{\theta}_{MLE}=\arg\max_{\theta} L(\theta).$$

通常我们取似然函数的对数, 从而得到对数似然函数:

$$\ell(\theta) = \sum_{i=1}^n \log f(x_i;\theta),$$

然后结合对数函数的单调性, 最大似然估计量$\hat{\theta}_{MLE}$同时也为使得对数似然函数取得最大值时$\theta$的取值. 比如在服从两点分布的样本中, 假设参数为$\theta, (0<\theta<1)$, 其概率质量函数为$\theta^x(1-\theta)^{1-x}, x=0,1$. 那么我们有

$$\ell(\theta) = \sum_{i=1}^n \log \theta^{x_i} (1-\theta)^{1-x_i} = \sum_{i=1}^n x_i\log\theta +(1-x_i)\log(1-\theta),$$

对其求导得

$$\frac{\pl \ell}{\pl\theta} = \sum_{i=1}^n \frac{x_i}{\theta} - \frac{1-x_i}{1-\theta},$$

求解$\frac{\pl \ell}{\pl\theta}=0$, 我们有

$$\sum_{i=1}^n\frac{x_i-\theta}{\theta(1-\theta)}=0,$$

由于分母恒不为零, 因此$\sum_{i=1}^n x_i-n\theta=0$, 即$\hat{\theta}_{MLE} =\overline{X}_n$. 因此我们称在两点分布中样本均值$\overline{X}_n$即为参数$\theta$得最大似然估计. 最大似然估计量满足不变性, 即若$\hat{\theta}$为参数$\theta$的最大似然估计量, 那么对于函数$f(x)$而言, $f(\hat{\theta})$也同为$f(\theta)$的最大似然估计量.

*{Fisher 信息}

假设我们有独立同分布的样本$X_1,X_2,\cdots,X_n \overset{i.i.d}{\sim} f(x;\theta)$, 其中$\theta$为参数. 在统计推断中, 我们经常需要引入正则条件 (Regularity Conditions):

(i) 随机变量的概率密度(质量)函数的定义域与参数$\theta$无关;

(ii) 我们默认概率密度 (质量) 函数为关于参数$\theta$的光滑函数.

在正则条件下, 我们能够给出有关参数$\theta$的估计量$T(\vec X)$的一些性质: 我们定义样本$X_i$的Fisher 信息 (Fisher Information)为

$$\mathcal{I}_i(\theta) = \E\left[ \left( \frac{\pl}{\pl\theta} \log f(x_i;\theta) \right)^2 \right],$$

总样本的Fisher信息为

$$\mathcal{I}_n(\theta) = \E\left[ \left( \frac{\pl}{\pl\theta} \log\prod_{i=1}^n f(x_i;\theta) \right)^2 \right].$$

根据Bartlett公式, Fisher信息还可以写作

$$\mathcal{I}_n(\theta) = -\E\left[ \frac{\pl^2}{\pl\theta^2} \log\prod_{i=1}^n f(x_i;\theta) \right].$$

Fisher信息可用于对某一参数估计量的方差进行检验. 我们设$T(\vec X)$为关于以参数$\theta$为变量的函数$\tau(\theta)$的无偏估计量, 那么$\Var(T(\vec X))$存在一确定下界. 该下界也被称为Cramér-Rao 下界 (Cramér-Rao Lower Bound):

$$\Var(T(\vec X)) \geq \frac{[\tau'(\theta)]^2}{\mathcal{I}_n(\theta)}.$$

在参数估计中, $\mathcal{I}_i(\theta)$往往为未知量, 我们也可用其估计量$\hat{\mathcal{I}}_i(\theta)$:

$$\hat{\mathcal{I}}_1(\theta) = -\frac{1}{n}\sum_{j=1}^n \frac{\pl^2}{\pl\theta^2} \log f(x_j;\hat{\theta}_{MLE}).$$

*{置信区间}

不同于最大似然估计, 置信区间 (Confidence Interval)利用中心极限定理来构造一个区间$(L(X), U(X))$, 使得在重复抽样的前提下,参数$\theta$包含在区间$(L(X), U(X))$中的概率为$\alpha$. 在这里尤其注意的是真实参数$\theta$为一定值, 因此不存在”区间$(L(X), U(X))$包含参数$\theta$的概率为$\alpha$”这一说法, 因为当区间确定后只有两种可能性: 区间包含$\theta$与区间不包含$\theta$. 对置信区间合理的解释是: 在重复实验的前提下,计算每一次实验由结果得到的区间$(L(X), U(X))$, 那么这些区间中大约有$\alpha\%$比例的区间包含参数$\theta$.

在中心极限定理中, 我们已经知道

$$\sqrt{n}\cdot\frac{(\overline{X}_n - \mu)}{\sigma} \to N(0,1),$$

那么根据定义, 对于期望$\mu$而言, 此时一个$1-\alpha$置信水平的置信区间满足

$$\P(L(X) \leq \mu \leq U(X)) = 1-\alpha.$$

在正态分布中, 我们定义$z_{\alpha/2}$为$N(0,1)$中的上侧$\alpha/2$分位点 ($\alpha/2$ Quantile), 即$\P(X \geq z_{\alpha/2}) = \alpha/2$. 此时我们对中心极限定理进行改写, 关于$\mu$的$\alpha\%$置信区间即可写作

$$\left( \overline{X}_n - z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \quad,\quad \overline{X}_n + z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \right).$$

在实践中, 我们往往无法得知$\sigma$, 因此我们也经常将其替换成$\sigma$的无偏估计量$S_n$:

$$S_n := \sqrt{\frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X}_n)^2},$$

此时的置信区间为

$$\left( \overline{X}_n - t(n-1,\alpha/2) \cdot \frac{S_n}{\sqrt{n}} \quad,\quad \overline{X}_n + t(n-1,\alpha/2)\cdot \frac{S_n}{\sqrt{n}} \right),$$

此时$t(n-1,\alpha/2)$为带有$n-1$个自由度的$t$分布的上侧$\alpha/2$分位点. 感兴趣的读者欢迎阅读更多相关材料.

*{假设检验}

在统计推断中, 我们经常希望根据样本数据判断某个关于总体的假设是否合理. 这样的过程称为假设检验(Hypothesis Testing). 通常我们会提出两个互相对立的假设:

$$H_0:<b>原假设 (Null Hypothesis)</b>, \qquad H_1:<b>备择假设 (Alternative Hypothesis)</b>.$$

其中,$H_0$ 通常代表我们在没有充分证据时默认接受的假设,而 $H_1$ 代表我们希望通过数据支持的另一种可能性. 假设检验的目标不是直接估计未知参数, 而是根据样本判断是否有足够证据拒绝 $H_0$.

设样本空间为 $\mathcal H$, 一个检验可以看作是将样本空间划分为两个部分：

$$\mathcal R = \mathcal R \cup \mathcal R^c,$$

其中 $\mathcal R$ 称为拒绝域 (Rejection Region). 当观测值 $x\in\mathcal R$ 时,我们拒绝原假设 $H_0$; 而 当 $x\in\mathcal R^c$ 时,我们不拒绝 $H_0$. 等价地，我们可以定义检验函数

$$\phi(x)= \begin{cases} 1, & x\in \mathcal R\\ 0, & x\in \mathcal R^c \end{cases},$$

其中 $\phi(x)=1$ 表示拒绝 $H_0$,而 $\phi(x)=0$ 表示不拒绝 $H_0$. 在假设检验中可能出现两类错误: 若 $H_0$ 实际为真， 但我们错误地拒绝了 $H_0$, 我们则称为第一类错误 (Type I Error); 若 $H_0$ 实际为假,但我们没有拒绝 $H_0$, 则称为第二类错误(Type II Error). 第一类错误的概率通常记为

$$\alpha=\P_{H_0}(\text{拒绝 }H_0),$$

即为当$H_0$为真时拒绝$H_0$的概率, 我们也将其称为检验的显著性水平（Significance Level. 第二类错误的概率通常记为

$$\beta=P_{H_1}(\text{不拒绝 }H_0),$$

即当$H_1$为真时不拒绝$H_0$的概率. 相应地, $1-\beta$也被称为检验的功效（Power）, 它表示当备择假设 $H_1$ 为真时, 检验能够正确拒绝 $H_0$ 的概率.

一种常用的构造检验的方法是似然比检验（Likelihood Ratio Test): 设样本 $X_1,\cdots,X_n$ 整体的似然函数为 $L_n(\theta)$, 原假设和备择假设对应的参数空间分别为 $\Theta_0$ 和 $\Theta$. 定义似然比统计量

$$\lambda_n(X) = \frac{\sup_{\theta\in\Theta_0} L_n(\theta)} {\sup_{\theta\in\Theta} L_n(\theta)}.$$

由于 $\Theta_0\subseteq \Theta$，因此有 $0\leq \lambda_n(X)\leq 1$. 当 $\lambda_n(X)$ 很小时,说明在原假设 $H_0$ 限制下,能够达到的最大似然值远小于总体参数空间中的最大似然值,因此数据对 $H_0$ 不利. 于是似然比检验的拒绝域通常写作

$$\mathcal R = \{x\in\mathcal X:\lambda_n(x)<c\},$$

其中常数 $c$ 由给定的显著性水平 $\alpha$ 决定. 在适当的正则条件下, 当样本量$n\to\infty$时, 似然比统计量还具有如下近似分布：

$$-2\log \lambda_n(X) \overset{d}{\to} \chi_d^2,$$

其中$d=\dim(\Theta)-\dim(\Theta_0).$ 因此，在显著性水平为 $\alpha$ 的检验中,常用的拒绝域可以写为

$$\mathcal R = \left\{ x\in\mathcal X: -2\log \lambda_n(x) \geq \chi_{d,\alpha}^2 \right\},$$

其中 $\chi_{d,\alpha}^2$ 表示自由度为 $d$ 的$\chi^2$分布的上 $\alpha$ 分位点.

{7.1 练习}

1. 设$(\Omega,\mathcal{F},\P)$为概率空间.

(i) 证明概率测度满足单调性. 即当$A \subset B$ ($A,B \in\mathcal{F}$)时, $\P(A) \leq \P(B)$;

(ii) 设$A_1,A_2,\cdots,A_n \in \mathcal{F}$, 证明:

$$\P\left( \bigcup_{i=1}^n A_i \right) \leq \sum_{i=1}^n \P(A_i).$$

2. 已知人群中某种疾病的患病率约为$1/10000$. 现有一种检测方法可以判断一个人是否患有该疾病, 对于该检测方法, 我们已知: (i) 在一个人未患病的条件下,检测结果呈阳性的概率仅为$0.02$; (ii) 在一个人患病的条件下, 检测结果呈阴性的概率仅为$0.01$. 现在随机选取一个人进行该疾病检测, 且检测结果为阳性. 那么此人真正患有该疾病的概率是多少?

3. 已知$X$服从标准正态分布, 即其概率密度函数满足

$$f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}.$$

证明随机变量$Y=X^2$服从自由度为$1$的$\chi^2$分布, 即其概率密度函数为

$$g(y) = \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}}\cdot \frac{1}{\sqrt{y}}.$$

4. (Chernoff 界) 设$X$为一随机变量. 证明对于任意的$a\in\mathbb{R}, s>0$, 有$\P(X \geq a) \leq M_X(s) e^{-as}$.

5. 甲乙二人准备于$9$点至$10$点之间在某地见面. 已知二人会在之间的任意时刻等可能到达, 且二人到达的时间相互独立. 那么先到的一方等另外一方超过$10$分钟的概率是多少?

6. 设$X_1,\cdots,X_n \overset{i.i.d}{\sim} f(x;\theta)$为独立同分布的样本.

(i) 样本服从泊松分布(Poisson Distribution): $f(x;\theta) = \frac{e^{-\theta} \theta^x}{x!}$, $x=0,1,2,\cdots$, 求参数$\theta$的最大似然估计量;

(ii) 样本服从指数分布(Exponential Distribution): $f(x;\theta) = \theta e^{-\theta x}, x >0$, 求参数$\theta$的最大似然估计量;

(iii) 样本服从几何分布(Geometric Distribution): $f(x;\theta) = \theta^x (1-\theta)^{x-1}, x=1,2,\cdots$, 求参数$\theta$的最大似然估计量.

(iv) 在(i) - (iii)中, 求出此时所有关于参数$\theta$的无偏估计量的Crémer-Rao下界, 并判断此时最大似然估计量的方差是否取到该下界.

7. (Bayes估计法) 假设$X_1,\cdots,X_n \overset{i.i.d}{\sim} f(x;\theta)$, 我们将参考条件概率公式, 给出一个参数$\theta$的先验分布 (Prior Distribution)$\pi(\theta)$. 先验分布往往是我们对于参数本身的一种分布假设. 那么参数$\theta$的后验分布 (Posterior Distribution)$p(\theta|x)$便满足

$$p(\theta|x) = \frac{f(x;\theta)\pi(\theta)}{\int f(x;\theta)\pi(\theta)d\theta}.$$

其中$f(x;\theta)$为样本的似然函数.

(i) 已知样本服从Bernoulli分布 (Bernoulli Distribution), 即$X_1,\cdots,X_n \overset{i.i.d}{\sim} \theta^{x}(1-\theta)^{1-x}, x=0,1$. 已知$\theta$的先验分布服从Beta分布(Beta Distribution), 即

$$\pi(\theta)= \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}, \alpha,\beta>0,$$

其中$\alpha,\beta$为确定常数. 求出此时$\theta$的后验分布$p(\theta|x)$.

(ii) 在(i)的条件下, 求出$\E_\theta[p(\theta|x)]$.

8. (最大似然估计量的渐近正态性) 假设$X_1,\cdots,X_n \overset{i.i.d}{\sim} f(x;\theta)$, 设$\hat{\theta}$为$\theta$的最大似然估计量. 在适当的正则条件下, 当样本量$n \to \infty$时, $\hat{\theta}$的分布会渐近于正态分布, 即

$$\frac{\sqrt{n}\cdot\Big( \hat{\theta} - \theta\Big)}{\sqrt{\hat{\mathcal{I}}_1(\theta)}} \sim N(0,1).$$

现已知样本服从Poisson分布: $X_1,\cdots,X_n \overset{i.i.d}{\sim} \frac{e^{-\theta} \theta^x}{x!}, x=0,1,2,\cdots$. 利用最大似然估计量的渐近正态性, 求出一个关于参数$\theta$的$1-\alpha$置信水平的置信区间.