KL 散度，是一个用来衡量两个概率分布的相似性的一个度量指标。

现实世界里的任何观察都可以看成表示成信息和数据，一般来说，我们无法获取数据的总体，我们只能拿到数据的部分样本，根据数据的部分样本，我们会对数据的整体做一个近似的估计，而数据整体本身有一个真实的分布（我们可能永远无法知道）。

那么近似估计的概率分布和数据整体真实的概率分布的相似度，或者说差异程度，可以用 KL 散度来表示。

KL 散度，最早是从信息论里演化而来的。所以在介绍 KL 散度之前，先介绍一下信息论里有关熵的概念。

熵

信息论中，某个信息 $x_i$ 出现的不确定性的大小定义为 $x_i$ 所携带的信息量，用 $I(x_i)$ 表示。$I(x_i)$ 与信息 $x_i$ 出现的概率 $P(x_i)$ 之间的关系为

$$\begin{array}{rl}I(x_i)=& log\frac{1}{P(x_i)}=-logP(x_i)\end{array}\text{\hspace{1em}(1)}$$

例：掷两枚骰子，求点数和为7的信息量 点数和为7的情况为：(1,6) ; (6,1) ; (2,5) ; (5,2) ; (3,4) ; (4,3) 这6种。总的情况为 6*6 = 36 种。
那么该信息出现的概率为 $P_{x=7}=\frac{6}{36}=\frac{1}{6}$
包含的信息量为 $I(7)=-\log P(7)=-\log \frac{1}{6}=\log 6$

以上是求单一信息的信息量。但实际情况中，会要求我们求多个信息的信息量，也就是平均信息量。

假设一共有 n 种信息，每种信息出现的概率情况由以下列出：

$X_1$	$X_2$	$X_3$	$X_4$	$.....$	$X_n$
$P(x_1)$	$P(x_2)$	$P(x_3)$	$P(x_4)$	…	$P(x_n)$

同时满足：
$$\begin{array}{r}\sum _{i=1}^{n}P(x_i)=1\end{array}\text{\hspace{1em}(2)}$$

则 $x_1,x_2,.....,x_n$ 所包含的信息量分别是 KaTeX parse error: Undefined control sequence: \logP at position 2: -\̲l̲o̲g̲P̲(x_1),-\logP(x_…平均信息量为
KaTeX parse error: Undefined control sequence: \logP at position 49: …^n_{i=1} P(x_i)\̲l̲o̲g̲P̲(x_i) \tag{3} \…

H 与热力学中的熵的定义类似，故这又被称为信息熵。

与热力学中的熵的定义类似，故这又被称为信息熵。
$$\begin{array}{r}H(x)=-(\frac{1}{8}\log (\frac{1}{8})+\frac{1}{8}\log (\frac{1}{8})+\frac{1}{4}\log (\frac{1}{4})+\frac{1}{2}\log (\frac{1}{2}))=1.75\end{array}$$

连续信息的平均信息量可定义为

$$\begin{array}{r}H(x)=-\int f(x)\log f(x)dx\end{array}\text{\hspace{1em}(3)}$$

这里的 $f(x)$ 是信息的概率密度。

上述我们提到了信息论中的信息熵
$$\begin{array}{r}H(x)=-\sum _{i=1}^{n}P(x_i)\log P(x_i)=\sum _{i=1}^{n}P(x_i)\log \frac{1}{P(x_i)}=H(P)\end{array}\text{\hspace{1em}(4)}$$

这是一个平均信息量，又可以解释为：用基于P的编码去编码来自P的样本，其最优编码平均所需要的比特个数

接下来我们再提一个概念：交叉熵

$$\begin{array}{r}H(P,Q)=-\sum _{i=1}^{n}P(x_i)\log Q(x_i)=\sum _{i=1}^{n}P(x_i)\log \frac{1}{Q(x_i)}\end{array}\text{\hspace{1em}(6)}$$

这就解释为：用基于P的编码去编码来自Q的样本，所需要的比特个数

【注】$P(x)$ 为各字符出现的频率，$\log \frac{1}{P(x)}$ 为该字符相应的编码长度，$\log \frac{1}{Q(x)}$ 为对应于Q 的分布各字符编码长度。

KL 散度

让我们从一个问题开始我们的探索。假设我们是太空科学家，正在访问一个遥远的新行星，我们发现了一种咬人的蠕虫，我们想研究它。我们发现这些蠕虫有10颗牙齿，但由于它们不停地咀嚼，很多最后都掉了牙。在收集了许多样本后，我们得出了每条蠕虫牙齿数量的经验概率分布:

虽然这些数据很好，但我们有一个小问题。我们离地球很远，把数据寄回家很贵。我们要做的是将这些数据简化为一个只有一两个参数的简单模型。一种选择是将蠕虫牙齿的分布表示为均匀分布。我们知道有11个可能的值，我们可以指定1/11的均匀概率

显然，我们的数据不是均匀分布的，但是看起来也不像我们所知道的任何常见分布。我们可以尝试的另一种选择是使用二项分布对数据进行建模。在这种情况下，我们要做的就是估计二项分布的概率参数。我们知道如果我们有n次试验，概率是p，那么期望就是E[x]= np。在本例中n = 10，期望值是我们数据的平均值，计算得到5.7，因此我们对p的最佳估计为0.57。这将使我们得到一个二项分布，如下所示：

将我们的两个模型与原始数据进行比较，我们可以看出，两个都没有完美匹配原始分布，但是哪个更好？

现如今有许多错误度量标准，但是我们主要关注的是必须使发送的信息量最少。这两个模型都将我们的问题所需的参数量减少。最好的方法是计算分布哪个保留了我们原始数据源中最多的信息。这就是Kullback-Leibler散度的作用。

KL散度又可称为相对熵，描述两个概率分布 P 和 Q 的差异或相似性，用 $D_{KL}(P\left|\right|Q)$ 表示

$$\begin{array}{rl}{D}_{KL}(P||Q)& =H(P,Q)-H(P)\\ & =\sum _{i}P(x_i)\log \frac{1}{Q(x_i)}-\sum _{i}P(x_i)\log \frac{1}{P(x_i)}\\ & =\sum _{i}P(x_i)\log \frac{P(x_i)}{Q(x_i)}\end{array}\text{\hspace{1em}(7)}$$

很显然，散度越小，说明概率 Q 与概率 P 之间越接近，那么估计的概率分布与真实的概率分布也就越接近。

KL散度的性质：

1. 非对称性：$D_{KL}(P||Q)\ne D_{KL}(Q||P)$
2. $D_{KL}(P||Q)\ge 0$，仅在 P=Q时等于0

性质2是很重要的，可以用 Jensen 不等式证明。

Jensen 不等式与凸函数是密切相关的。可以说 Jensen 不等式是凸函数的推广，而凸函数是 Jensen 不等式的特例。