数学学习--贝叶斯定理
基础概念
期望值，也叫数学期望，是每次随机结果的出现概率乘以其结果的总和。如果我们把每种结果的概率看作权重，那么期望值就是所有结果的加权平均值。
由多个随机变量决定的概率叫联合概率，其概率分布就是联合概率分布。
对于离散型随机变量，可以通过联合概率 P(x, y) 在 y 上求和，得到 P(x)。对于连续型随机变量，可以通过联合概率 P(x, y) 在 y 上的积分，推导出概率 P(x)。这时 P(x) 称为边缘概率。
条件概率也是由多个随机变量决定，但和联合概率不同的是，它计算了给定某个（或多个）随机变量的情况下，另一个（或多个）随机变量出现的概率。给定随机变量 x，随机变量 y 的条件概率使用 P(y | x) 表示。
贝叶斯定理
P(x) 称为先验概率，是从数据资料统计得到的。
P(x|y) 是根据贝叶斯定理，通过先验概率 P(x)、似然函数 P(y|x) 和边缘概率 P(y) 推算而来，称为后验概率。
用于分类时，公式可改写为：
其中 c 表示一个分类（class），f 表示属性对应的数据字段（field）。P(c|f) 就是待分类样本中，出现属性值 f 时，样本属于类别 c 的概率。P(f|c) 是根据训练数据统计，得到分类 c 中出现属性 f 的概率。P(c) 是分类 c 在训练数据中出现的概率，P(f) 是属性 f 在训练样本中出现的概率。
平滑处理
对于概率为 0.00 的情况，在做贝叶斯公式中的乘积计算时会出现结果为 0。因此通常取一个比数据集里最小统计概率还要小的极小值来代替"零概率"，这种技巧叫平滑（Smoothing）。
链式法则
链式法则是概率论中常用法则，使用一系列条件概率和边缘概率来推导联合概率。
马尔科夫假设
任何一个词 wi 出现的概率只和它前面的 1 个或若干个词有关。基于这个假设可以提出多元文法（Ngram）模型。N 表示任何一个词出现的概率只和它前面的 N-1 个词有关。
- 二元文法：某个单词出现的概率只和它前面的 1 个单词有关
- 三元文法：某个单词出现的概率只和它前面的 2 个单词有关
- 一元文法：每个词都是相互独立的
语言模型的应用
- 信息检索：通过语言模型来刻画查询和文档之间的相关度，假设 q 表示查询，d 表示文档，P(d|q) 表示用户查询 q 的情况下文档 d 出现的概率，概率越高相关性越高
- 中文分词