贝叶斯非参数模型关于随机事件A和B的条件概率或边缘概率的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。
用Ph表示在没有训练数据前假设h拥有的初始概率。Ph被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识。
可以简单地将每一候选假设赋予相同的先验概率。PD表示训练数据D的先验概率,PD表示假设h成立时D的概率。机器学习中,我们关心的是Ph,即给定D时h的成立的概率,称为h的后验概率。
举例说明:
问题:假定有一个新病人,化验结果为正,是否应将病人断定为有癌症。求后验概率Pcancer+和Pcancer+。
因此极大后验假设计算如下:
P+cancerPcancer=0.0078。
P+cancerPcancer=0.0298。
hMAP=cancer。
确切的后验概率可将上面的结果归一化以使它们的和为1。
贝叶斯推理的结果很大程度上依赖于先验概率,另外不是完全接受或拒绝假设,只是在观察到较多的数据后增大或减小了假设的可能性。