【数学】概率论与数理统计

基本术语

样本空间

一次随机测试中所有可能出现的结果的集合，通常用 $\Omega$ 表示。

如骰子的样本空间即是其点数结果的集合：$\{1,2,3,4,5,6\}$

随机事件

样本空间中的任意一个子集，通常用 $A$ 表示（面积的推广）。

如以下都可以说是掷骰子实验中可能出现的事件：

• $\{1\}$：结果是 1
• $\{1,2\}$：结果是 1 或 2

随机变量

代表随机事件发生后最终得到的任意某个结果，通常用 $X$ 表示。

例如掷骰子事件 $\{1,2\}$ 中，其随机变量既可能是$X=1$也可能是$X=2$，由于随机变量的不确定性，本质上也可以将其视作一种函数。

概率

某一随机事件的发生可能性。其值为一个 0-1 的实数，或以等价的百分比表示。

$$P(A)$$

设有一个样本空间 $\Omega$，并将其中的任意子集称为事件 A，若满足以下条件，则称函数值 $P(A)$ 为 $\Omega$ 中事件 A 的概率：

1. 非负性：$P(A)\geq 0$
2. 规范性：$P(\Omega)=1$
3. 可数可加性：对于任意多个互斥的事件，有$\sum_{i=1}^{\infin} P(A_i) = P(\bigcup_{i=1}^{\infin} A_i)$

随机变量特征

一组测量指标，用于量化随机变量的性质。

期望

用于描述随机变量的平均可能结果，具体是指试验中每个可能结果乘以其结果概率后的总和。

$$E(X) = \sum_i x_i P(x_i)$$

• $x_i$：表示随机变量的一个具体结果

例如掷骰子事件的期望为：$E(X) = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} +3 \cdot \frac{1}{6} +4 \cdot \frac{1}{6} +5 \cdot \frac{1}{6} +6 \cdot \frac{1}{6} = 3.5$

方差

用于描述一组随机变量结果之间的离散程度。记 $Var(X)$（国际）、$D(X)$（国内） 或 $\sigma^2$。

$$D(X)=\sum_{i=1}^{N}p_i(x_i-\mu)^2$$

• $N$：这组随机变量的数量
• $p_i$：目标随机变量的获取概率
• $\mu$：这组随机变量的期望

标准差

标准化后的方差（近似归一化）。

$$\sigma=\sqrt{\sum_{i=1}^{N}p_i(x_i-\mu)^2}$$

平均差

$$平均差 =\frac{1}{n}\sum_{i=1}^{n}|x_i-m(X)|$$

• m：是对数据集中趋势的描述函数，可取平均数、中位数等。

概率相关函数

概率函数

用于求解指定随机变量概率的函数，一般记为$fx(x)$，具体分两类：

• 概率质量函数：作用于离散的随机变量，用于得出其各特定取值上概率的函数。
• 概率密度函数：针对连续随机变量版的“概率质量函数”，用于得出在微分层面上，每个随机变量在特定取值时的概率。

累积分布函数（概率分布函数）

对于给定范围内的随机变量的概率总和，可以看作是对概率密度函数的积分。

$$Fx(x) = P(X\leq x)$$

• $X\leq x$：表示随机变量的取值范围小于等于 x 的情况。

若要表示某一特定区间，可用如下方式：

$$P(a< X \leq b) = Fx(b) - Fx(a)$$

提示：以上定义中的 $\leq$ 并非强制要求，这主要是为了兼容离散分布，因为相比连续分布，离散分布中的等于是很有意义的。

性质

• 有界性：
  • $\lim_{x \to -\infin} Fx(x) = 0$
  • $\lim_{x \to +\infin} Fx(x) = 1$
• 单调性：
  • 当 $x_1 < x_2$ 时，$Fx(x_1) \leq Fx(x_2)$
• 右连续性：
  • $\lim_{x \to x_0^+} Fx(x) = Fx(x_0)$

概率分布形式

一些常见的随机变量分布形式。

0-1 分布（伯努利分布）

进行一次实验，结果只有成功 $(x=1)$ 和失败 $(x=0)$ 两种，成功概率为 p，求成功或失败的概率。

• $\displaystyle fx(x) = p^x(1-p)^{1-x}$
• $\displaystyle E(X) = p$
• $\displaystyle D(X) = p(1-p)$

推导过程

$$\begin{aligned} E(X) &= \sum_{i=0}^1 x_i fx(x) \\ &= p \end{aligned}$$

$$\begin{aligned} D(X) &= \sum_{i=0}^1(x_i-E(X))^2 fx(x_i)\\ &=(0-p)^2(1-p) + (1-p)^2p\\ &=p(p-p^2)+p(1-2p+p^2)\\ &=p(p-p^2+1-2p+p^2)\\ &=p(1-p) \end{aligned}$$

二项分布

进行多次实验，每次实验只有成功和失败两种结果，且每次实验成功的概率都为 p，求进行 n 次实验后成功 k 次的概率。

$$X \sim \operatorname{B} (n,p)$$

• $\displaystyle fx(x)= \binom{n}{k} p^k (1-p)^{n-k}$
• $\displaystyle E(X)=np$
• $\displaystyle D(X)=np(1-p)$

泊松分布

根据过往经验，某实验在一段时间内的成功期望为 $\lambda$ 次，求在相同的时间内，实际发生 $k$ 次的概率。

$$X\sim P(\lambda)$$

• $\displaystyle fx(x) = \frac{\lambda^k}{k!}e^{-k}$
• $\displaystyle E(X) = \lambda$
• $\displaystyle D(X) = \lambda$

正态分布（高斯分布）

生活中的大量事物都满足正态分布，因此常用于表示一些不明的随机变量。也因此其由使用者直接自行决定其随机变量特征：$\mu$ 为期望，$\sigma^2$ 为方差。

$$X \sim N(\mu,\sigma^2)$$

• $\displaystyle fx(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
• $\displaystyle E(X)=\mu$
• $\displaystyle D(X)=\sigma^2$