贝叶斯定理学习记录

基本概念

• 期望值：每次随机结果出现概率乘以其结果的总和
• 联合概率：多个随机变量决定的概率，P(x, y)
• 边缘概率：通过联合概率求和/积分得到，P(x)
• 条件概率：给定某个随机变量下另一个出现的概率，P(y|x)

贝叶斯定理

描述联合概率、边缘概率和条件概率的关系。

• 先验概率 P(x)：从数据资料统计得到
• 后验概率 P(x|y)：通过先验概率、似然函数和边缘概率推算而来

分类问题中的应用

c 表示分类，f 表示属性字段：

• P(c|f)：出现属性 f 时，样本属于分类 c 的概率
• P(f|c)：分类 c 中出现属性 f 的概率
• P(c)：分类 c 在训练数据中的概率
• P(f)：属性 f 在训练样本中的概率

平滑技巧

当数据中出现零概率时，取一个极小值（如 0.001）来填充，避免乘积结果为 0。