信息熵

信息熵

信息熵（简称熵）是用来刻画给定集合纯净度的一个指标。一个集合里的元素全部属于同一个分组时最纯净，熵为 0；如果元素来自不同分组，熵大于 0。

信息量

信息量是信息论中的一个度量，当我们观察到某个随机变量的具体值时接收到了多少信息。接收到的信息量跟发生事件的概率有关：事情发生的概率越大，产生的信息量越小；事情发生的概率越小，产生的信息量越大。

信息量函数的特点：

1. 信息量应该为正数
2. 一个事件的信息量和它发生的概率成反比
3. H(x) 与 P(x) 的对数有关

信息量的公式为：H(x) = −log(P(x), 2)

整体熵

对于多个小集合而言，整体熵等于各个小集合之熵的加权平均。每个小集合的权重是其在整体中出现的概率。

划分后的整体熵要小于划分之前的整体熵，因为每次划分都可能将不同分组的元素区分开来，降低混乱程度。将划分后整体熵的下降称为信息增益（Information Gain），划分后整体熵下降得越多，信息增益就越大。