贝叶斯统计与经典统计异同

贝叶斯统计与经典统计的异同

曹正

最近初步接触了在与经典统计的争论中逐渐发展起来的贝叶斯统计。贝叶斯派不同于频

率派的地方在于他们愿意作出不是基于数据的假定，也就是说他们的观点来自何处并没有严

格的限定。我觉得Bayes 统计的思想非常有意思，根据课堂上老师的指导，我清楚了Bayes

的基本观点：1.认为未知参数是一个随机变量，而非常量。2.在得到样本以前，用一个先验分

布来刻画关于未知参数的信息。3. Bayes 的方法是用数据，也就是样本，来调整先验分布，得

到一个后验分布。4.任何统计问题都应由后验分布出发。为了更好的理解两种统计思想，我查

阅了一些参考文献，整理出以下一些结论：

以往，经典统计方法占据着统计学的主导地位，但是，贝叶斯方法正在国外迅速发展并得

到日益广泛的应用，可以说“二十一世纪的统计学是贝叶斯的时代”。

假设检验问题是统计学的一类重要问题，以下我们从这个角度对两大学派的假设检验思想

进行一些比较，以揭示两种思想的区别与联系，并着重探讨贝叶斯方法的优势。

在经典统计中处理假设检验问题，用的是反证的思想进行推断，即：在认定一次实验中小

概率事件不会出现的前提下，若观察到的事件是0 H 为真时的小概率事件，则拒绝0 H 。具体的

步骤是：1.建立原假设0 1 H ∈Θvs 备择假设 1 2 H ∈Θ；2.选择检验统计量T =T(x)，使其在

原假设0 H 为真时概率分布是已知的，这在经典方法中是最困难的一步。3.对给定的显著水平α，

确定拒绝域，使犯第一类错误的概率不超过α。4.当样本观测值落入拒绝域 W 时，就拒绝原假

设0 H ，接受备择假设1 H ；否则就保留原假设。

2

而在Bayes 统计中，处理假设检验问题是直截了当的，依据后验概率的大小进行推断。在

获得后验分布π(θ| x)后，即可计算两个假设 0 H 和1 H 的后验概率0 α和1 α，然后比较两者的

大小，当后验概率比（或称后验机会比） 0 α/ 1 α>1时接受 0 H ；当0 α/ 1 α<1时，接受 1 H ；当

0 α/ 1 α≈1时，不宜做判断，还需进一步抽样或者进一步搜集先验信息。很明显，它选择了后验

概率较大的假设。

由上叙述，我们可以看到两种思想的联系与分歧：在经典统计学中，参数被看作未知常数，

不存在0 H 和1 H 的概率，给出的是0 P(x | H 真)，其中x代表样本信息。在贝叶斯方法中，参

数被看成随机变量，在参数空间内直接讨论样本x 下0 H 和1 H 的后验概率，给出的是0 P(H 真

| x)和 0 P(H 不真| x)。

下面我们通过一个例子对两种假设检验思想进行一些比较。

例：以随机变量θ代表某人群中个体的智商真值， i

θ为第i 个个体的智商真值，随机变量

i X 代表第i 个个体的智商测验得分，若该人群的期望智商为⎧，则第i 个个体在一次智商测

验中的得分可以表示为： ij i ij i ij X =θ+e =⎧+e +e ，其中 i e 为第i 个个体的自然变异， ij e 为

第i 个个体第j 次测量的测量误差。根据以往积累的资料，已知在某年龄的儿童的智商真值

θ~ N(100,225)，个体智商测验得分 ~ ( ,100) * X N θ。现在一名该年龄的儿童智商测验得

分为115，问：(1)该儿童智商真值是否高于同龄儿童的平均水平?(2)若取* θ在(a,b)为正常，

问该儿童智商是否属于正常?

Ⅰ. 用经典统计方法解答

对第一问，建立检验问题： 0 H ： 100 * θ≤vs 1 H ： 100 * θ>，按照经典统计学方法，

若取α=0.05，则拒绝域为 *

1 {x : x 100 u } {x : x 116.45} ασ−≥+=≥。尚不能认为该儿童智商

高于平均水平。

对第二问，经典方法需要进行两次分别针对a、b 的单侧检验。过程与第一问相似，这里

不再叙述。

Ⅱ. 用贝叶斯方法解答

在贝叶斯学派中，当i

θ未知时，将其看作随机变量，与θ具有相同的分布，这是贝叶斯

学派与经典学派的一个重大区别。

3

根据贝叶斯理论，θ的先验分布是N(100, 225)，测验结果 * X ~ N(θ,100)，儿童智商

的后验分布为正态分布N(110.38,69.23)（具体计算过程请参见参考茆老师的《贝叶斯统计》

P14-15）。

对第一问，同样设0 H ： 100 * θ≤1 H ： 100 * θ>，查正态分布表可以得到：

( : 100 | 115) *

0 P H θ≤x ==0.106， ( : 100 | 115) *

1 P H θ>x ==0.4。 根据风险最小原则

拒绝0 H ，接受1 H 。

对第二问，设0 H ：a＜ * θ＜b 1 H ： * θ＜a 或* θ＞b，查正态分布表可以分别得到

{ : | 115} *

0 P H a <θ<b x =和 { : b | 115} * *

1 P H θ<a或θ>x =，类似第一问，依据风险

最小原则做出推断。

按Bayes 的观点，多重假设检验的情形并不比两个假设的检验更困难，因为它只需要多

算几个后验概率即可；它同时利用了样本和_ 的先验信息，且由于导出了样本x 下的后验分

布，可以对风险给出正面的回答，因而较经典方法下的间接判断更直观。

事实上，两个学派的方法在一定程度上统一于贝叶斯公式。因此，当 ( ) ( ) 0 1 P H =P H ，

即0 H 与1 H 居于平等地位时，经典学派与贝叶斯学派的结果是一致的。对于正态分布前提下

的单侧检验： ~ ( ,1), : 0 0 X N θH θ≤: 0, 1 H θ>经典方法得到的P 值与贝叶斯方法在无信

息先验分布下的后验概率相等，此结论可以推广到正态分布前提下其他类似的单侧检验，如

上例。

而对于形如 : 0, : 0 1 H θ=H θ>o ，(或 : 0 1 H θ<)的单侧检验，情况则不同，与下述的

双侧检验有类似结果。即对形如 : 0, : 0 1 H θ=H θ≠o 的双侧检验，经典方法得到的P 值与

贝叶斯方法的后验概率大不相同。在Berger 和Sellke 1987 年对正态分布前提下二者的比较研

究中，当经典方法得到的P 在0.01～0.1 之间时，贝叶斯方法得到0 H 为真的后验概率大于P，

因而此时拒绝0 H 所承担的实际风险大于P，而这个区间对于经典方法下结论是非常重要的。

Hwang 和Pematle 1994 年提出，对这类双侧检验，类似结果始终存在，因而P 值应该由其他

判断标准来替代。但他们还没有找到这种标准。值得注意的是，经典的犯第一，二类错误的

概率通常都不与相应的假设后的概率近似，这也许是经典派实际工作者愿意用P 值代替犯第

一，二类错误的原因吧。

在这里我只对一个简单的单侧假设检验的例子作了一点展开，而实际中的Bayes 检验问

题包括单侧检验，原假设为简单假设的检验和多重假设检验。我们可以参考的文献有很多，

在James O.Berger 的《统计决策论及贝叶斯分析》中有着很全面和详细的叙述。

4

假设检验是Bayes 分析中的一个问题，Bayes 分析在运算上有不少优点，在这里要提的相

关的一点是，由它得出的未知参数的最终分布（后验分布），由此可以同时解决大量的问题，

这比经典统计学要方便容易得多。

贝叶斯方法在先验信息的利用、风险的回答、损失的考虑以及多重假设问题的处理等方

面较经典方法具有明显的优势。贝叶斯学派的理论已经成为决策论的一个基本工具，在社会

学、经济学等领域发挥着重要作用，正逐步受到重视更多领域的重视。

参考文献：

_ James O.Berger 著.贾乃光译《统计决策论及贝叶斯分析》中国统计出版社，1998 版

_ 吴喜之著 中国人民大学《现代贝叶斯统计学》中国统计出版社 2000 版

_ 茆诗松 编著《贝叶斯统计》1999 版

一句话评论：对例中的第二问，经典方法应考虑双边假设检验方法，可参见茆诗松等著

《高等数理统计》。__