本文总结了一些在计算概率时经常用到的定理，如乘法法则、贝叶斯定理等等。我们会首先回顾概率公理，然后介绍由概率公理引出的概率论中的常用定理。

概率公理

对于事件空间 S 中的每一个事件 A，可以通过一个函数 P 得到一个实数 P(A)，并且该函数满足下面的 3 个公理，那么函数 P 叫做概率函数，相应的 P(A) 叫做事件 A 的概率。

公理 1

$0\leq P(A)\leq 1\ (A\in S)$

表示事件 A 的概率 P(A) 是一个0与1之间（包含0与1）的非负实数。

公理 2

$P(S)=1$

表示事件空间总的概率值为 1 。

公理 3

$P(A\cup B)=P(A)+P(B)\ (A\cap B=\varnothing)$

表示互斥事件的加法法则。可以推广到可数个互斥事件的联集。

概率定理

我们可以从概率公理推导出以下的一些概率定理。

互补法则

与 A 互补事件的概率：

$P({\bar {A}})=1-P(A),\in S$

互补法则可以通过公理3和公理2证明。

示例

连续掷两次骰子，得到至少一个点数6的概率等于1减去两次都不是点数6的概率：

$P = 1 - P(\bar{A_6})*P(\bar{B_6}) = 1 - \frac{5}{6}*\frac{5}{6} = \frac{11}{36}$

注意此处用到了后面才会介绍的无关事件的乘法法则。

不可能事件的概率

不可能事件的概率为零：

$P(\varnothing )=0$

此定理可以通过公理2和互补法则证明。

多个互斥事件的加法法则

如果若干事件：

$A_{1},A_{2},\cdots A_{n}\in S$

每两两之间是空集关系，那么这些所有事件集合的概率等于单个事件的概率的和：

${P(A_{1}\cup \cdots \cup A_{n})=\sum _{j=1}^{n}P(A_{j})}$

注意针对这一定理有效性的决定因素是各事件不能同时发生。

此定理由公理3推广而来。

示例

掷一次骰子得到的点数大于4的概率等于点数为5的概率加上点数为6的概率：

$P = P(A_5) + P(A_6) = \frac{1}{6} + \frac{1}{6} = \frac{1}{3}$

差集的计算法则

如果事件 A， B 是差集关系，则有，

$P(A\setminus B)=P(A)-P(A\cap B)$

此定理可以通过公理3证明。

示例

连续掷两次骰子，第一个点数为6，第二个点数不为6的概率：

$P = P(A_6) - P(A_6)*P(B_6) = \frac{1}{6} - \frac{1}{6}*\frac{1}{6} = \frac{5}{36}$

注意此处用到了后面才会介绍的无关事件的乘法法则。

任意事件的加法法则

对于事件空间 S 中的任意两个事件 A 和 B，有如下定理：

$P(A\cup B)=P(A)+P(B)-P(A\cap B)$

此定理可以通过公理3得出，实际上可以认为公理3是此定理的特殊情况。

示例

连续掷两次骰子，得到至少一个点数6的概率：

$P = P(A_6) + P(B_6) - P(A_6)*P(B_6) = \frac{1}{6} + \frac{1}{6} - \frac{1}{6}*\frac{1}{6} = \frac{11}{36}$

乘法法则

事件 A， B 同时发生的概率是：

${P(A\cap B)=P(A)\cdot P(B\vert A)=P(B)\cdot P(A\vert B)}$

公式中的 P(A|B) 是指在 B 条件下 A 发生的概率，又称作条件概率。

示例

假设有6个袋子编号为1～6，每个袋子里面有一个白球一个黑球，我们首先掷一次骰子，通过点数选择对应编号的袋子，然后从袋子里面随机拿一个球。拿到1号袋子里面的黑球的概率为：

$P = P(A_1) \cdot P(B\vert A_1) = \frac{1}{6} \cdot \frac{1}{2} = \frac{1}{12}$

无关事件乘法法则

两个不相关联的事件 A， B 同时发生的概率是：

${P(A\cap B)=P(A)\cdot P(B)}$

此定理实际上是前一定理的特殊情况。

示例

连续掷两次骰子，得到连续两个6点的概率：

$P = P(A_6)*P(B_6) = \frac{1}{6}*\frac{1}{6} = \frac{1}{36}$

完全概率定理

n 个事件互相间独立，且共同组成整个事件空间 S，即

$H_{i}\cap H_{j}=\varnothing\ (i\neq j)$ $H_{1}\cup H_{2}\cup ...\cup H_{n}=S$

这时 A 的概率可以表示为：

$P(A)=\sum _{j=1}^{n}P(A|H_{j})\cdot P(H_{j})$

示例

假设有 A, B, C 三个袋子，A 里面有 14 个白球和 6 个红球，B 里面有 2 个白球和 8 个红球，C 里面有3个白球和7个红球。我们首先在三个袋子里面随机选择一个，然后从选择的袋子里面随机取出一个球。

假设选择的袋子为A，B，C的概率分别是：

$P(A) = \frac{3}{6}, P(B) = \frac{2}{6}, P(C) = \frac{1}{6}$

则最后抽到的球是白球的概率P(W)为：

$P(W) = P(W|A) \cdot P(A) + P(W|B) \cdot P(B) + P(W|C) \cdot P(C) = \frac{14}{20} \cdot \frac{3}{6} + \frac{2}{10} \cdot \frac{2}{6} + \frac{3}{10} \cdot \frac{1}{6} = \frac{28}{60} = 0.4667$

进一步推广

根据事件B和各种不同的H事件组合条件下事件A的条件概率，可求事件B发生的条件下，事件A的条件概率：

$P(A|B)=\sum _{j=1}^{n}P\big(A|(B,H_{j})\big)\cdot P(H_{j}|B)$

贝叶斯定理

贝叶斯定理用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照定理 6 的乘法法则，P(A∩B)=P(A)·P(B|A)=P(B)·P(A|B)，可以立刻导出贝叶斯定理：

${P(A\vert B)={\frac {P(B\vert A)\cdot P(A)}{P(B)}}}$

计算技巧

贝叶斯公式中，P(A)·P(B|A)的计算较为简单，而P(B)的计算有时比较困难，我们有两种计算方式(本质上是一样的)。

方法一

根据完全概率公式计算P(B)，随后使用贝叶斯公式：

$P(B)=\sum _{j=1}^{n}P(B|H_{j})\cdot P(H_{j})$ ${P(A\vert B)={\frac {P(B\vert A)\cdot P(A)}{P(B)}}}$

方法二

如果直接计算P(B)比较困难，我们可以首先计算：

${P'(A\vert B)={P(B\vert A)\cdot P(A)}}$ ${P'(\bar{A}\vert B)={P(B\vert \bar{A})\cdot P(\bar{A})}}$

随后根据：

$P(A\vert B) + P(\bar{A} \vert B) = 1$

进行归一化:

$P(A\vert B) = \frac {P'(A\vert B)} {P'(A\vert B) + P'(\bar{A} \vert B)}$

示例

举例来说，假设我们用P(C)表示得癌症的概率：

$P(C) = 0.001$ $P({\bar {C}}) = 0.999$

假设以下是通过医疗手段检测癌症的概率，得癌症检测为阳性的概率约为0.8，没得癌症检测为阳性的概率约为0.1：

$P(POS\vert C) = 0.8$ $P(POS\vert {\bar C}) = 0.1$

通过完全概率公式和贝叶斯公式，我们可以求出癌症检测为阳性，得癌症的概率:

$P(POS) = P(POS\vert C) \cdot P(C) + P(POS\vert {\bar C}) \cdot P({\bar {C}}) = 0.1007$ $P(C \vert POS) = \frac{P(POS\vert C) \cdot P(C)}{P(POS)} = 0.007944$

进一步推广

贝叶斯公式应用于多个事件：

$P\big(A | (B,C)\big) = \frac {P\big(B|(A,C)\big) \cdot P(A|C)} {P(B|C)}$

上面的公式同样可根据乘法法则推导出：

$P(A,B,C) = P\big(A|(B,C)\big) \cdot P(B|C) \cdot P(C) = P\big(B|(A,C)\big) \cdot P(A|C) \cdot P(C)$

参考资料

https://zh.wikipedia.org/wiki/%E6%A6%82%E7%8E%87%E8%AE%BA

https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86