概率论第四章¶

经典极限定理¶

以下 $S_n$ 表示任意数列前 $n$ 项之和

大数律¶

给定，假设，那么 $\frac{S_n}{n}\rightarrow p,n\rightarrow \infty$ 收敛的含义：

固定，无论多大，总会发生 $|\frac{S_n}n-p|>\epsilon$ 即 $P(\omega:|\frac{S_n(\omega)}{n}-p|>\epsilon)>0$ （这段是PPT上原话，个人感觉语义有点奇怪，不过最后得出的结论应该是没啥毛病的）

Bernoulli 大数律¶

给定 $0<p<1,S_n\sim B(n,p)$ ，

那么 $\lim_{n\rightarrow\infty}P(\omega:|\frac{S_n(\omega)}{n}-p|>\epsilon)=0$ 这给出了“频率接近概率真值”的数学解释。

依概率收敛¶

是一列随机变量，若对于任意 $P(\omega:|X_n(\omega)-X(\omega)|>\epsilon)\rightarrow 0,n\rightarrow \infty$ 称 $X_n$ 依概率收敛到 $X$ ，记作 $\displaystyle X_n\mathop{\longrightarrow}^P X$

则 Bernoulli 大数律可以写成 $\displaystyle \frac{S_n}n\mathop{\longrightarrow}^P p$

中心极限定理¶

棣莫弗公式 $(\cos\theta+i\sin\theta)^n=\cos n\theta+i\sin n\theta$ De Moivre-Laplace 中心极限定理

假设 $\Phi(x)$ 为标准正态分布的分布函数， $S_n\sim B(n,p)$

则 $\lim_{n\rightarrow \infty}P(\frac{S_n-np}{\sqrt{npq}}\le x)=\Phi(x)=\int_{-\infty}^x\frac1{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt\\ P(a\le S_n\le b)=P(\frac{a-np}{\sqrt{npq}}\le \frac{S_n-np}{\sqrt{npq}}\le \frac{b-np}{\sqrt{npq}})\\ =\Phi(\frac{b-np}{\sqrt{npq}})-\Phi(\frac{a-np}{\sqrt{npq}})$

依分布收敛¶

是一列随机变量，是一列相应的分布函数，如果对的任意连续点 $F_n(x)\rightarrow F(x),n\rightarrow\infty$ 称 $F_n$ 依分布收敛 $F$ ，记作 $\displaystyle F_n\mathop{\longrightarrow}^d F,\displaystyle X_n\mathop{\longrightarrow}^d X$

因此中心极限定理可以写成 $\displaystyle \frac{S_n-np}{\sqrt{np(1-p)}}\mathop{\longrightarrow}^d N(0,1)$

泊松极限定理¶

，如果且属于，那么对于任何 $P(S_n=k)\rightarrow\frac{\lambda^ke^{-\lambda}}{k!},n\rightarrow \infty$ 证明：由于 $P(S_n=k)=\frac{n!}{k!(n-k)!}p_n^k(1-p_n)^{n-k}\\ =\frac1{k!}n(n-1)\cdots(n-k+1)\frac 1{n^k}(np_n)^k(1-\frac{\lambda}n+o(\frac1n))^{n-k}$ 因为无限大，所以忽略不计，那么 $\frac{n(n-1)\cdots (n-k+1)}{n^k}=1\\ (1-\frac\lambda n)^{n-k}=\bigg[(1-\frac\lambda n)^{-\frac{n}{\lambda}}\bigg]^{(-\lambda)}=e^{-\lambda}$ 所以得证。

经典极限定理的推广¶

Chebyschev 大数律¶

主要就是利用切比雪夫不等式 $P(|X-EX|>\epsilon)\le \frac{Var(X)}{\epsilon^2}$ 证明 Bernoulli 大数律 $P(|\frac{S_n}n-p|>\epsilon)=P(|S_n-np|>n\epsilon)\\ \le \frac{Var(S_n-np)}{n^2\epsilon}\\ =\frac{np(1-p)}{n^2\epsilon^2}\rightarrow 0$ Chebyschev 大数律

假设 $\xi_k,k\ge 1$ 是一列随机变量 $E\xi_k=\mu$ 记 $S_n=\sum^{n}_1 \xi_k$

若 $\frac{Var(S_n)}{n^2}\rightarrow 0$ 那么 $\frac{S_n}n\mathop{\longrightarrow}^P\mu$ 更一般的，若 $E\xi_k=\mu_k$

还是上面的条件，有 $\frac{S_n}n-\frac{\sum_{k=1}^{n}\mu_k}{n}\mathop{\longrightarrow}^{P}0$

Khinchine 大数律¶

辛钦大数律

假设 $\xi_k,k\ge 1$ 是一列独立同分布的随机变量， $E\xi_k=\mu$

即，那么 $\frac{S_n}{n}\mathop{\longrightarrow}^P\mu$ 可以用特征函数证明。

de Moivre-Laplace 中心极限定理的推广¶

Levy-Feller 中心极限定理¶

假设是一列独立同分布随机变量，，那么对于任意 $P(\frac{S_n-n\mu}{\sigma\sqrt{n}}\le x)\rightarrow \Phi(x)\\ \frac{S_n-n\mu}{\sigma\sqrt{n}}\mathop{\longrightarrow}^dN(0,1)$ 这说明了测量误差可以用正态分布描述，即正态分布无处不在

随机测量值 $X_i$ ，真值 $\mu$ ，每次误差 $X_i-\mu$ ， $n$ 次误差叠加为

$\sum (X_i-\mu)$ ，那么 $\sum (X_i-\mu)\sim N(0,n\sigma^2),n>>1$

Lyapunov 中心极限定理¶

$\xi_k,k\ge 1$ 是一列独立随机变量（不一定同分布）， $E\xi_k=\mu_k,Var(\xi_k)=\sigma_k^2,S_n=\sum_{k=1}^n\xi_k,B_n=\sum_{k=1}^n\sigma_k^2$

如果

$B_n\rightarrow \infty$
$E|X_k|^3<\infty$ 且 $n$ 趋于无穷时

\[ \frac{\sum_{k=1}^nE|X_k|^3}{B_n^{3/2}}\rightarrow 0 \]

那么 $\frac{\sum_{k=1}^n(\xi_k-\mu_k)}{\sqrt{B_n}}\mathop{\longrightarrow}^dN(0,1)$

依概率收敛和依分布收敛¶

依概率收敛¶

极限唯一性¶

假设 $\displaystyle X_n\mathop{\longrightarrow}^P X,\displaystyle X_n\mathop{\longrightarrow}^P Y$ ，那么 $P(X=Y)=1$

证明：只需要证 $P(X\ne Y)=0$

注意到 $P(X\ne Y)=P(|X-Y|>0)=P(\cup_{m=1}^{\infty}\{|X-Y|>\frac 1m\})$ 因此对于 $$ \begin{align} P(|X-Y|>\epsilon)&=P(|(X_n-X)-(X_n-Y)|>\epsilon)\ &\le P(|X_n-X|+|X_n-Y|>\epsilon)\ &\le P(|X_n-X|>\frac{\epsilon}{2})+P(|X_n-Y|>\frac \epsilon2)

\end{align} $$ 而这上面两个式子为 $0$ ，根据依概率收敛的定义和给出的条件

判别法则¶

若存在 $E|X_n-X|^r\rightarrow 0,n\rightarrow \infty$ 那么 $X_n\mathop{\longrightarrow}^P X$ 证明需要用到 Markov （马尔科夫）不等式 $P(X\ge \epsilon)\le \frac{E(X)}{\epsilon}$

运算性质¶

\[ X_n\mathop{\longrightarrow}^P X,Y_n\mathop{\longrightarrow}^P Y \]

有 $X_n+Y_n\mathop{\longrightarrow}^P X+Y\\ X_n-Y_n\mathop{\longrightarrow}^P X-Y\\ X_nY_n\mathop{\longrightarrow}^P XY\\ X_n/Y_n\mathop{\longrightarrow}^P X/Y,\text{if} \,\,P(Y\ne 0)=1$

还有

连续映射保持依概率收敛，即如果是连续映射，那么 $f(X_n)\mathop{\longrightarrow}^P f(X)$

依分布收敛¶

依概率收敛意味着依分布收敛¶

如果 $\displaystyle X_n\mathop{\longrightarrow}^P X$ 那么 $\displaystyle X_n\mathop{\longrightarrow}^d X$

依分布收敛不意味着依概率收敛¶

例子：假设 $Y$ 是非退化对称随机变量，令 $X_n=Y,n\ge 1,X=-Y$

那么 $X,X_n$ 分布相同，因此 $\displaystyle X_n\mathop{\longrightarrow}^d X$

但是 $P(|X_n-X|>\epsilon)=P(2|Y|>\epsilon)$ 所以 $X_n$ 不依概率收敛到 $X$

但是如果是常数，有

若 $\displaystyle X_n\mathop{\longrightarrow}^d c$ ，那么 $\displaystyle X_n\mathop{\longrightarrow}^P c$

判别法则¶

Levy 连续性定理

假设 $X,X_n$ 是一列随机变量，具有特征函数 $\phi,\phi_n$

那么 $\displaystyle X_n\mathop{\longrightarrow}^d X$ 等价于 $\phi_n(t)\rightarrow \phi(t)$

另一种形式

假设 $X_n,n\ge 1$ 是一列随机变量，有特征函数 $\phi_n$

如果 $\phi_n(t)\rightarrow \phi(t),t\in R$ 且 $\phi$ 在 $0$ 处连续

那么一定是特征函数，记与相应的随机变量为，那么 $\displaystyle X_n\mathop{\longrightarrow}^d X$

运算性质¶

我们有 $\displaystyle X_n\mathop{\longrightarrow}^d X,b_n\rightarrow b$

那么

$\displaystyle X_n+b_n\mathop{\longrightarrow}^d X+b$
$\displaystyle b_nX_n\mathop{\longrightarrow}^d bX$
连续映射保持依分布收敛性， $\displaystyle f(X_n)\mathop{\longrightarrow}^d f(X)$

几乎处处收敛¶

处处收敛¶

是一列随机变量，如果对于每个 $X_n(\omega)\rightarrow X(\omega),n\rightarrow\infty$ 那么 $X_n$ 处处收敛于 $X$

几乎处处收敛¶

如果存在使得 $P(\Omega_0)=0\\ \forall\omega\in\Omega/\Omega_0,X_n(\omega)\rightarrow X(\omega)$ 即除了零概率事件外， $X_n$ 处处收敛于 $X$ 。

判别法则

等价于对于任意 $\lim_{N\rightarrow\infty}P(\cup_{n=N}^{\infty}\{|X_n(\omega)-X(\omega)|>\epsilon\})=0$

Borel-Cantelli 引理¶

如果是一列事件，若 $\sum_{n=1}^{\infty}P(A_n)<\infty$ 那么 $P(A_n,i.o.)=\lim_{N\rightarrow \infty}P(\cup_{n=N}^\infty A_n)$

若 $\sum_{n=1}^{\infty}P(A_n)=\infty$ 那么 $P(A_n,i.o.)=1$

Borel 大数律¶

是一列独立同分布的随机变量 $P(\xi_k=1)=p,P(\xi_k=0)=1-p$ 记 $S_n=\sum \xi_k$ ，那么 $\frac{S_n}n\rightarrow p$

Kolmogorov 强大数律¶

$\xi_k$ 是一列独立同分布随机变量

如果，那么 $\frac{S_n}{n}\rightarrow \mu$

各种收敛间的关系¶

$F_n$ 是一列分布函数， $F$ 是一分布函数

$\xi_n$ 是一列随机变量， $\xi$ 是一随机变量

弱收敛

如果对于每个连续点 $x\in R$ ， $n\rightarrow \infty$ 时， $F_n(x)\rightarrow F(x)$ 则 $F_n$ 弱收敛于 $F(x)$ ，记作 $\displaystyle F_n\mathop{\longrightarrow}^w F$ 。

其实就是把函数列上每个点的极限构成的函数与原函数列弱收敛。（因为不是一致收敛，所以也推不出 $F$ 连续，就是点收敛）

在题目里单出现个 收敛于 啥的就理解为弱收敛，证明是按点收敛的就可以。

依分布收敛

若 $\xi_n$ 的分布函数弱收敛于 $\xi$ 的分布函数，则 $\xi_n$ 依分布收敛于 $\xi$ 。记作 $\displaystyle \xi_n\mathop{\longrightarrow}^d \xi$ 。

这个表述也等价于 xx 的分布收敛于 .. 。可能是翻译问题啥的，也有渐近这种说法。

依概率收敛

是一列随机变量，若对于任意 $P(\omega:|X_n(\omega)-X(\omega)|>\epsilon)\rightarrow 0,n\rightarrow \infty$ 称 $X_n$ 依概率收敛到 $X$ ，记作 $\displaystyle X_n\mathop{\longrightarrow}^P X$

以概率 1 收敛

若 $\forall \epsilon>0,\lim_{n\rightarrow\infty} P(\cup_{k\ge n}|\xi_k-\xi|\ge \epsilon)=0$ 那么 $\xi_n$ 以概率 $1$ 收敛于 $\xi$ ，记作 $\displaystyle F_n\mathop{\longrightarrow}^{a.s.} F$ （a.s.是 almost sure 的缩写），仅在概率空间中使用，即几乎处处收敛 。

它们之间的关系为 $\xi_n\mathop{\longrightarrow}^{a.s.}\xi >\xi_n\mathop{\longrightarrow}^{P}\xi>\xi_n\mathop{\longrightarrow}^{d}\xi\\ \xi_n\mathop{\longrightarrow}^{P}\xi>\exist\{\xi_{n_k}\}\mathop{\longrightarrow}^{a.s.}\xi$ 为了方便，用 $>$ 表示左边可以推出右边。下面那个式子表示可以取出一个子列来推出以概率 $1$ 收敛