贝叶斯参数估计

贝叶斯参数估计（BPE）与最大似然估计（MLE）或最大后验估计（MAP）有本质上的不同。后两者是求解模型的最优参数集 $\hat{\mathbf{\theta }}$，而BPE则将 $\mathbf{\theta }$视为一个具有分布 $p(\mathbf{\theta })$的随机变量。

设置

我们有一个数据集 $\mathcal{D}$，其中包含 $n$ 个独立同分布的特征 ${\mathbf{x}}_j$。给定一个新的特征向量 $\mathbf{x}$，我们希望将其分类到某个类别 $\omega$。一种方法是使用贝叶斯决策规则。也就是说，如果

我们就选择类别 ${\omega }_j$ 而不是类别 ${\omega }_i$，其中 ${\mathcal{D}}_j$ 仅包含属于类别 ${\omega }_j$ 的特征，反之亦然。如果不进一步假设底层分布的结构，我们无法直接解决这个问题。

因此，我们假设分布 $p(\mathbf{x}|{\mathcal{D}}_j)$ 完全由一个仅由随机变量 $\mathbf{\theta }$ 参数化的模型描述。这个分布告诉我们，如果 $\mathbf{x}$ 属于类别 ${\omega }_j$，我们找到它的可能性有多大。从现在开始，为了简洁起见，我省略了 ${\mathcal{D}}_j$ 的下标。

然后我们观察到

这更容易处理。我们可以通过将 $\mathbf{x}$ 代入我们假设的模型来计算 $p(\mathbf{x}|\mathbf{\theta })$。 $p(\mathbf{\theta }|\mathcal{D})$ 也可以计算，因为

总结一下，我们设计了一种方法，可以为我们提供一个关于 $\mathbf{x}$ 的似然度，该似然度在所有可能的参数 $\mathbf{\theta }$ 上取平均，并根据给定类别条件数据 $\mathcal{D}$ 的先验和似然度进行加权。

高斯情况

在我们的模型是高斯分布的情况下，均值为 $\mathbf{\mu }$，其分布为 $p(\mathbf{\mu })$，且协方差 $\mathbf{\Sigma }$ 已知时，BPE 的计算相当简单。在这种情况下，我们的参数集仅包含 $\mathbf{\mu }$。

我们假设以下条件：

1. $p(\mathbf{x}|\mathbf{\mu })\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$。也就是说，我们的模型对每个类别都有效。

2. $p(\mathbf{\mu })\sim \mathcal{N}({\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$。这里， ${\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0$ 是我们在看到数据之前对每个类条件分布形状的“最佳猜测”。

记住我们的目标是计算 $p(\mathbf{x}|\mathcal{D})$，我们首先需要找到 $p(\mathbf{\mu }|\mathcal{D})$。 根据贝叶斯定理：

代入高斯公式：

其中

因此， $p(\mathbf{\mu }|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$。

为了完成这个练习，我们需要找到 $p(\mathbf{x}|\mathcal{D})$。 由于 $\mathbf{x}|\mathbf{\mu }\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$， 我们可以表示 $\mathbf{x}=\mathbf{\mu }+\mathbf{ϵ}$。 显然， $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{\Sigma })$。 因此， $\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n+\mathbf{\Sigma })$。

所以，使用这种方法，我们根本不需要计算积分！

总结

• $p(\mathbf{\mu })\sim \mathcal{N}({\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$，其中 ${\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0$ 是“猜测”的
• $p(\mathbf{x}|\mathbf{\mu })\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$，其中 $\mathbf{\mu },\mathbf{\Sigma }$ 是从 $\mathcal{D}$ 计算出的类条件统计量
• $p(\mathbf{\mu }|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$
• $p(\mathbf{x}|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n+\mathbf{\Sigma })$。此函数用于贝叶斯决策规则