链式法则和马尔科夫假设

链式法则

链式法则使用一系列条件概率和边缘概率来推导联合概率。

马尔科夫假设

任何一个词 wi 出现的概率只和它前面的 1 个或若干个词有关。基于这个假设可以提出多元文法（Ngram）模型。N 表示任何一个词出现的概率只和它前面的 N-1 个词有关。

• 一元文法：每个词相互独立
• 二元文法：单词概率只和它前面 1 个词有关
• 三元文法：单词概率只和它前面 2 个词有关

语言模型应用

信息检索

通过语言模型刻画查询和文档之间的相关度。假设 q 表示查询，d 表示文档，P(d|q) 表示用户查询 q 的情况下文档 d 出现的概率，概率越高则相关性越高。

中文分词