贝叶斯推断(Bayes inference)的共轭先验分布

在贝叶斯统计中，某一不确定量p的先验概率分布是在考虑“观测数据”前，能表达p不确定性的概率分布。它旨在描述这个不确定量的不确定程度，而不是这个不确定量的随机性。这个不确定量可以是一个参数，或者是一个隐含变量（latent variable）。

在使用贝叶斯（Bayes）定理时，我们通过将先验概率与似然函数（likelihood function）相乘，随后标准化，来得到后验概率分布，也就是给出某数据，该不确定量的条件分布。

先验概率通常是主观的猜测，为了使计算后验概率方便，有时候会选择共轭先验。如果后验概率和先验概率是同一族的，则认为它们是共轭分布，这个先验概率就是对应于似然函数的共轭先验。

共轭先验或者共轭分布

如果你读过贝叶斯学习方面的书或者论文，想必是知道共轭先验这个名词的。

贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响，Bayes能够同时利用样本信息和参数的先验信息，特别是在样本量比较小而参数的先验信息比较丰富时，Bayes的优势就更加突出。但是，Bayes估计与损失函数的选取有关，而且计算较为复杂，在某种程度上限制了其作用。

引入先验信息的方法：共轭先验

现在假设我们有这样几类概率：P(θ)（先验分布）, P(θ|X)（后验分布）, P(X), P(X|θ) （似然函数）

它们之间的关系可以通过贝叶斯公式进行连接： 后验分布 = 似然函数* 先验分布/ P(X)

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样一方面符合人的直观（它们应该是相同形式的）另外一方面是可以形成一个先验链，即现在的后验。

分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

为了使得先验分布和后验分布的形式相同，我们定义：

如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。

共轭是指的先验分布和似然函数

很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。