【概率论】2

原文地址1：https://www.face2ai.com/Math-Probability-2-2-Independent-Events转载请标明出处

Abstract: 本文介绍事件的独立，以及派生出来的多事件独立，以及条件独立 Keywords: Independent Events，Independent of Several Events，Coditionally Independent Events

今天想说的废话就是，其实什么行业想做的好都要靠知识，做软件是这样，硬件也是，说相声是，其他行业也是，刚开始可能觉得经验丰富的人可以很顺利的做好任何我们觉得很难的事，过了三五年发现我们自己也可以很顺利的完成了，我们就变得优秀了么？其实不是，时间成本决定了你可以在不太努力的情况下成长，但是这种成长速度不足以让你成为行业顶级人物，当然不是所有人都想做顶级，想做顶级，必须强迫自己去做一些舒适区以外的事情。 从根本上思考理解自己做的事，同时有计划的训练才是野蛮生长的最快途径。 美国人Noel Tichy提出的理论，图里的3个区可以表示为你想学习的事物的等级:

不要停留在舒适区，也不要好高骛远的直接去Panic Zone，那样会死的很惨，多去学习区，这样才能不断的进步。

上一篇我们讲到条件概率，这一篇其实是和上一篇同样的研究两个事件间的关系的，条件概率最朴素的想法就是当一个事件发生了，其对我们关心的事件是否发生有没有影响，有影响与否这都是个条件概率，如果没有影响，我们进一步把这两个事件称之为独立的。 独立与互斥，对立等意义都不相同，独立性是概率论的重要基础关系，在独立事件上建立的概率论理论已经很完备了，但是对于非独立事件相关的研究开在继续完善中，很多情况下我们都是假设，或者近似一些事件独立的，来是模型更加简单准确。 我们上一篇中说的条件概率，假定我们已知事件B发生，那么事件A发生的概率在此条件下发生的概率是 P r ( A ∣ B ) Pr(A|B) Pr(A∣B) 如果我们进一步说，B事件的发生与否对于A事件来说没有什么影响，那么我们就有 P r ( A ∣ B ) = P r ( A ) Pr(A|B)=Pr(A) Pr(A∣B)=Pr(A) 上文中我们有一个很重要的乘法定义（条件概率定义引出的） P r ( A ∣ B ) = P r ( A ∩ B ) P r ( B ) w h e r e P r ( B ) > 0 P r ( A ∩ B ) = P r ( A ∣ B ) P r ( B ) w h e r e P r ( B ) > 0 Pr(A|B)=\frac{Pr(A\cap B)}{Pr(B)}\quad where \quad Pr(B)>0\\ Pr(A\cap B)=Pr(A|B)Pr(B) \quad where \quad Pr(B)>0 Pr(A∣B)=Pr(B)Pr(A∩B)​wherePr(B)>0Pr(A∩B)=Pr(A∣B)Pr(B)wherePr(B)>0 那么当我们带入 P r ( A ∣ B ) = P r ( A ) Pr(A|B)=Pr(A) Pr(A∣B)=Pr(A) 可以得到一个让我们一直使用到去世的关系： P r ( A ∩ B ) = P r ( A ) P r ( B ) Pr(A\cap B)=Pr(A)Pr(B) Pr(A∩B)=Pr(A)Pr(B) 以上关系成立的充分必要条件是，事件A和事件B相互独立。

Definition Independent Events.Two events A and B are independent if P r ( A ∩ B ) = P r ( A ) P r ( B ) Pr(A\cap B)=Pr(A)Pr(B) Pr(A∩B)=Pr(A)Pr(B)

定义是说如果事件A和事件B满足上述关系，那么他们独立，注意，对于数学定义来讲，其条件会完全在定义的条件中体现，如果没有，那么就说明没限制。

举个🌰 ： 两个机器甲和乙，之间没有影响，独立工作，事件A表示甲工作三小时后坏掉 P r ( A ) = 1 4 Pr(A)=\frac{1}{4} Pr(A)=41​，事件B表示乙工作山小时后坏掉 P r ( B ) = 1 3 Pr(B)=\frac{1}{3} Pr(B)=31​，那么，当甲乙同时开始工作三个小时，那么他俩一起坏掉的概率是多少？

分析：甲乙之间独立，互不影响，所以从原理上满足组成复合事件时互相独立，那么 P r ( A ∩ B ) = P r ( A ) P r ( B ) = 1 4 × 1 3 = 1 12 Pr(A\cap B)=Pr(A)Pr(B)=\frac{1}{4}\times \frac{1}{3}=\frac{1}{12} Pr(A∩B)=Pr(A)Pr(B)=41​×31​=121​

说一个我之前初学概率时的一个思维误区: 我一直以为独立在集合上的反映就是不想交，，像这样： 这是一种很自然的想法，当题设的条件中用到独立，互不影响地进进行两个实验的时候，我们很自然的把他们理解为两个样本空间，所以打死不会有交集，但事实是我们关心的是这两个试验的一个复合结果产生的样本空间。

但事实是这是个明显错误的，当A和B事件作为同一个试验的事件，那么当B发生的时候严重影响A的概率，因为当B发生的时候，A不可能发生，根据1-1中的T1，我们可以确定当 P r ( B ) ≥ 0 Pr(B)\geq 0 Pr(B)≥0 的时候 P r ( A ∣ B ) = P r ( A ∩ B ) P r ( B ) = P r ( ∅ ) P r ( B ) = 0 Pr(A|B)=\frac{Pr(A\cap B)}{Pr(B)}=\frac{Pr(\emptyset)}{Pr(B)}=0 Pr(A∣B)=Pr(B)Pr(A∩B)​=Pr(B)Pr(∅)​=0 这是个对立事件，不是独立事件。

分析独立事件的定义，我们可以看出独立并不等于不想交，从频率角度的解释是相交部分的面积占事件B的比例，刚好等于事件A面积对整个样本空间的面积比例:

用图像的理解，A的面积与整体S的面积比等于灰色与B面积的比。

更深入的说，试验甲可能会产生一个包含10个事件 A 1 … A 10 A_1\dots A_{10} A1​…A10​ 的样本空间，试验乙可能会产生一个包含5个事件 B 1 … A 5 B_1\dots A_5 B1​…A5​ 的样本空间，于是我们组合出来 10 × 5 = 50 10\times 5=50 10×5=50 个复合事件的样本空间（笛卡尔积，或者使用事件的乘法原理），我们关心的是这50个复合事件中的某个事件的概率；这时才是考虑组成复合事件的基本事件独立与否的时候，而不应该是脱离了复合事件直接分开考虑 A i A_i Ai​ 和 B i B_i Bi​ 之间的独立性。 前一篇说过图像只能帮我们初步的感受其大概的意思，分析学方法才能帮助我们从逻辑的角度深入研究，分析方法就是看定义的公式，如果 P r ( A ) ≠ 0 Pr(A)\neq 0 Pr(A)​=0 和 P r ( B ) ≠ 0 Pr(B)\neq 0 Pr(B)​=0 ，那么交集的概率必然不是0，所以A与B必然有交集。

如果我们说两个事件独立了，其相交的事件的概率和这两个事件的关系会被确定，同样我们能得到其补集间的关系：

Theorem If two events A and B are independent,then the events A A A and B c B^c Bc are also independent.

怎么证明呢，书上写的比较跳跃，我来补充下： A = ( A ∩ B c ) ∪ ( A ∩ B ) P r ( A ) = P r ( A ∩ B c ) + P r ( A ∩ B ) P r ( A ∩ B ) = P r ( A ) P r ( B ) P r ( A ∩ B c ) = P r ( A ) − P r ( A ) P r ( B ) = P r ( A ) ( 1 − P r ( B ) ) = P r ( A ) P r ( B c ) A=(A\cap B^c)\cup(A\cap B)\\ Pr(A)=Pr(A\cap B^c)+Pr(A\cap B)\\ Pr(A\cap B)=Pr(A)Pr(B)\\ Pr(A\cap B^c)=Pr(A)-Pr(A)Pr(B)=Pr(A)(1-Pr(B))=Pr(A)Pr(B^c) A=(A∩Bc)∪(A∩B)Pr(A)=Pr(A∩Bc)+Pr(A∩B)Pr(A∩B)=Pr(A)Pr(B)Pr(A∩Bc)=Pr(A)−Pr(A)Pr(B)=Pr(A)(1−Pr(B))=Pr(A)Pr(Bc) Q.E.D 上面第一步是集合论知识，第二步是[1-1]中的T2，接着第四步是[1-1]中的T3，证毕。

根据上面的结论，当事件 A A A 和 B B B 独立的时候，那么 A A A 和 B c B^c Bc 独立，继续推导 A c A^c Ac 和 B c B^c Bc 独立。

把两个事件扩展到多个事件稍微有点复杂，从原理上讲，这些独立的事件里，某一个或者某几个发生并不影响其他事件发生的概率，那么他们就是独立的

Definition Mutually Independent Events The k events A 1 , … , A k A_1,\dots,A_k A1​,…,Ak​ are independent or mutually independent if for every subset A i 1 , … , A i j A_{i_1},\dots,A_{i_j} Ai1​​,…,Aij​​ of j of these events( j = 2 , 3 , … , k j=2,3,\dots,k j=2,3,…,k) P r ( A i 1 ∩ ⋯ ∩ A i j ) = P r ( A i 1 ) … P r ( A i j ) Pr(A_{i_1}\cap \dots \cap A_{i_j} )=Pr(A_{i_1})\dots Pr(A_{i_j}) Pr(Ai1​​∩⋯∩Aij​​)=Pr(Ai1​​)…Pr(Aij​​)

这个定义其实看起来有点费力，尤其是当出现两重下标的时候，公式显得复杂很多，但是如果看过分析类的书就可以用一种很简单的方式解释，那就是对于下标 i j i_j ij​ 我们可以把它看成一个 i ( j ) : N → N i(j):N\to N i(j):N→N的映射，映射从 [ 1 , k ] [1,k] [1,k] 映射到 [ 1 , k ] [1,k] [1,k] 可以出现多对一，这样就会产生一个子集 ，而上面的表示可以产生一个集合的全部子集，可以用排列的方式计算一共有多少。

用中文表示一下就是一组事件独立，当其全部子集内的事件都是独立的，那么这组事件相互独立，还是个递归定义，三个事件的组合要通过两个事件的独立验证，四个事件独立要用三个事件和两个事件的独立来验证。

例如：

当 P r ( A ∩ B ) = P r ( A ) P r ( B ) P r ( A ∩ C ) = P r ( A ) P r ( C ) P r ( B ∩ C ) = P r ( B ) P r ( C ) P r ( A ∩ B ∩ C ) = P r ( A ) P r ( B ) P r ( C ) Pr(A\cap B)=Pr(A)Pr(B)\\ Pr(A\cap C)=Pr(A)Pr(C)\\ Pr(B\cap C)=Pr(B)Pr(C)\\ Pr(A\cap B\cap C)=Pr(A)Pr(B)Pr(C) Pr(A∩B)=Pr(A)Pr(B)Pr(A∩C)=Pr(A)Pr(C)Pr(B∩C)=Pr(B)Pr(C)Pr(A∩B∩C)=Pr(A)Pr(B)Pr(C) 必须满足上述四个关系，才能能保证三个事件独立。

但是

下面的这个例子，说明这个情况： 在扔两个硬币的样本空间 S = { H H , H T , T H , T T } S=\{HH,HT,TH,TT\} S={HH,HT,TH,TT}下有以下几个事件：

① A = { H H , H T } A=\{HH,HT\} A={HH,HT}

② B = { H H , T H } B=\{HH,TH\} B={HH,TH}

③ C = { H H , T T } C=\{HH,TT\} C={HH,TT}

那么 A ∩ B ∩ C = A ∩ B = B ∩ C = A ∩ C = { H H } A\cap B \cap C=A\cap B=B\cap C=A\cap C=\{HH\} A∩B∩C=A∩B=B∩C=A∩C={HH} P r ( A ∩ B ) = P r ( B ∩ C ) = P r ( A ∩ C ) = P r ( A ∩ B ∩ C ) = 1 4 Pr(A\cap B)=Pr(B\cap C)=Pr(A\cap C)=Pr(A\cap B \cap C)=\frac{1}{4} Pr(A∩B)=Pr(B∩C)=Pr(A∩C)=Pr(A∩B∩C)=41​ 同时满足 P r ( A ∩ B ) = P r ( A ) P r ( B ) P r ( A ∩ C ) = P r ( A ) P r ( C ) P r ( B ∩ C ) = P r ( B ) P r ( C ) Pr(A\cap B)=Pr(A)Pr(B)\\ Pr(A\cap C)=Pr(A)Pr(C)\\ Pr(B\cap C)=Pr(B)Pr(C)\\ Pr(A∩B)=Pr(A)Pr(B)Pr(A∩C)=Pr(A)Pr(C)Pr(B∩C)=Pr(B)Pr(C) 但是不满足 P r ( A ∩ B ∩ C ) = P r ( A ) P r ( B ) P r ( C ) Pr(A\cap B\cap C)=Pr(A)Pr(B)Pr(C) Pr(A∩B∩C)=Pr(A)Pr(B)Pr(C) 所以三个事件相互不独立。

上面例子也好定理也好，都是要强调完整的子集和的集合。

补充个多事件独立的条件概率的定义：

Theorem Let A 1 , A 2 , … , A k A_1,A_2,\dots,A_k A1​,A2​,…,Ak​ be events such that P r ( A 1 ∩ ⋯ ∩ A k ) > 0 Pr(A_1\cap \dots \cap A_k)>0 Pr(A1​∩⋯∩Ak​)>0 .Then A 1 … A m A_1\dots A_m A1​…Am​ and A 1 … A l A_1\dots A_l A1​…Al​ of A 1 … A k A_1\dots A_k A1​…Ak​ we have P r ( A i 1 ∩ ⋯ ∩ A i m ∣ A j 1 ∩ ⋯ ∩ A j l ) = P r ( A i 1 ∩ ⋯ ∩ A i m ) Pr(A_{i_1}\cap \dots \cap A_{i_m}|A_{j_1}\cap \dots \cap A_{j_l})=Pr(A_{i_1}\cap \dots \cap A_{i_m}) Pr(Ai1​​∩⋯∩Aim​​∣Aj1​​∩⋯∩Ajl​​)=Pr(Ai1​​∩⋯∩Aim​​) 这个解释是两个事件的独立的条件理解的扩展，这里不再过多解释啦。

条件概率上一篇就说到了，我们可以给任何事件的概率加上条件，只是有些可以不加，或者省略，而且条件概率的所有性质，定理，公理都与概率一致（因为所有概率都是条件的）。那我们就顺着这个思路，个独立事件加上条件，称之为条件独立。条件独立更加复杂，当然也更加通用。但其定义方法及其简单，我们直接对多个事件的定义下手，两个事件的条件独立被包含在其中：

Theorem Conditional Independence We say that event A 1 … A k A_1\dots A_k A1​…Ak​ are conditional independent given B if,for every subcollection A i 1 , … , A i j A_{i_1},\dots ,A_{i_j} Ai1​​,…,Aij​​ of j j j of these events ( j = 2 , 3 , … , k j=2,3,\dots,k j=2,3,…,k) P r ( A i 1 ∩ ⋯ ∩ A i j ∣ B ) = P r ( A i 1 ∣ B ) … P r ( A i j ∣ B ) Pr(A_{i_1}\cap \dots \cap A_{i_j}|B)=Pr(A_{i_1}|B)\dots Pr(A_{i_j}|B) Pr(Ai1​​∩⋯∩Aij​​∣B)=Pr(Ai1​​∣B)…Pr(Aij​​∣B)

这个定义的解释和上面多事件的解释基本一致，一组事件在条件B下独立的条件是他的所有子集的组合都是在条件B下独立的。

对于两个事件的条件独立，我们有下面这个定理

Theorem Suppose that A 1 , A 2 A_1,A_2 A1​,A2​ and B B B are events such that P r ( A 1 ∩ B ) > 0 Pr(A_1\cap B)>0 Pr(A1​∩B)>0 Then A 1 A_1 A1​ and A 2 A_2 A2​ are conditional independent given B B B if and only if P r ( A 2 ∣ A 1 ∩ B ) = P r ( A 2 ∣ B ) Pr(A_2|A_1\cap B)=Pr(A_2|B) Pr(A2​∣A1​∩B)=Pr(A2​∣B)

证明过程不复杂： P r ( A 1 ∩ A 2 ∩ B ) = P r ( A 1 ∩ A 2 ∣ B ) P r ( B ) = P r ( A 2 ∣ A 1 ∩ B ) P r ( A 1 ∣ B ) P r ( B ) t h e n : P r ( A 1 ∩ A 2 ∣ B ) = P r ( A 2 ∣ A 1 ∩ B ) P r ( A 1 ∣ B ) f o r : P r ( A 1 ∩ A 2 ∣ B ) = P r ( A 1 ∣ B ) P r ( A 2 ∣ B ) s o : P r ( A 1 ∣ B ) P r ( A 2 ∣ B ) = P r ( A 2 ∣ A 1 ∩ B ) P r ( A 1 ∣ B ) P r ( A 2 ∣ A 1 ∩ B ) = P r ( A 2 ∣ B ) Pr(A_1\cap A_2 \cap B)=Pr(A_1\cap A_2|B)Pr(B)=Pr(A_2|A_1\cap B)Pr(A_1|B)Pr(B)\\ then: \quad Pr(A_1\cap A_2|B)=Pr(A_2|A_1\cap B)Pr(A_1|B)\\ for: \quad Pr(A_1\cap A_2|B)=Pr(A_1|B)Pr(A_2|B)\\ so: \quad Pr(A_1|B)Pr(A_2|B)=Pr(A_2|A_1\cap B)Pr(A_1|B)\\ Pr(A_2|A_1\cap B)=Pr(A_2|B) Pr(A1​∩A2​∩B)=Pr(A1​∩A2​∣B)Pr(B)=Pr(A2​∣A1​∩B)Pr(A1​∣B)Pr(B)then:Pr(A1​∩A2​∣B)=Pr(A2​∣A1​∩B)Pr(A1​∣B)for:Pr(A1​∩A2​∣B)=Pr(A1​∣B)Pr(A2​∣B)so:Pr(A1​∣B)Pr(A2​∣B)=Pr(A2​∣A1​∩B)Pr(A1​∣B)Pr(A2​∣A1​∩B)=Pr(A2​∣B)

总结就一句话，掌握了这一句就掌握了这一篇的所有，什么是独立，互不影响就是独立