任何粒子的常态都是随机运动，也就是“无序运动”，“熵”这个概念，就是“无需运动”的度量，它反映了事物的不确定性，越不确定的事物，它的熵就越大。
$$
熵的公式为：H(X) = -\sum_{i=1}^n p_i*logp_i (其中 i\in(1,n)为失误的第 i 个取值，p_i 为取值为第 i 个值的概率)
$$
比如，对于事物 A，它的去取值有 3 个，取到的概率分别为 1 /6、1/6、2/3。则该事物的熵为
$$
-\frac{1}{6}*log\frac{1}{6}-\frac{1}{6}*log\frac{1}{6}-\frac{2}{3}*log\frac{2}{3}
$$
一般情况下，对于有相同取值个数 (假设为 2 个) 的事物 B 和 C，如果 B 取值的概率分布比 C 均匀，则 B 的熵会更大。假设 B 的两个取值概率均为 1 /2，而 C 的取值概率为 1 / 3 和 2 /3:
$$
-2*\frac{1}{2}*log\frac{1}{2} > -\frac{1}{3}*log\frac{1}{3}-\frac{2}{3}*log\frac{2}{3}
$$
一般情况下，事物取值个数多的熵会比取值个数少的熵大。
(~▽~)
参考博客：https://www.cnblogs.com/pinar…