熵（shāng），

热力学中表征物质状态的参量之一，

用符号S表示，

其物理意义是体系混乱程度的度量！

熵，

最初是根据热力学第二定律引出的，

一个反映自发过程不可逆性的物质状态参量。

热力学第二定律，

是根据大量观察结果总结出来的规律：

在孤立系统中，

体系与环境没有能量交换，

体系总是自发地向混乱度增大的方向变化，

总使整个系统的熵值增大，

此即熵增原理。

摩擦使一部分机械能不可逆地转变为热，

使熵增加，

所以说整个宇宙可以看作一个孤立系统，

是朝着熵增加的方向演变的！

从一个自发进行的过程来考察：

热量Q 由高温(T1)物体传至低温(T2)物体，

高温物体的熵减少dS1=dQ/T1，

低温物体的熵增加dS2=dQ/T2，

把两个物体合起来当成一个系统来看，

熵的变化是dS=dS2－dS1＞0，

即熵是增加的。

在信息论中，

熵（英语：entropy）是接收的每条消息中包含的信息的平均量，

又被称为信息熵、信源熵、平均自信息量。

这里，

“消息”代表来自分布或数据流中的事件、样本或特征！

（熵最好理解为不确定性的量度

而不是确定性的量度，

因为越随机的信源的熵越大。）

来自信源的另一个特征是样本的概率分布。

这里的想法是，

比较不可能发生的事情，

当它发生了，会提供更多的信息！

由于一些其他的原因，

把信息（熵）定义为

概率分布的对数的相反数是有道理的。

事件的概率分布和每个事件的信息量

构成了一个随机变量，

这个随机变量的均值（即期望）

就是这个分布产生的信息量的平均值（即熵）。

熵的单位通常为比特，

但也用Sh、nat、Hart计量，