\[\Delta S_{12}=\int_1^2\frac {đQ}T\,\,\,（这个đ好难打快给我整疯了） \]

\[\oint\frac {đQ}T=0\,\,\,\,,\,\,\,对可逆过程 \]

\[I(x)=-\log p(x) \]

\[H(x)=-\sum_xp(x)\log p(x) \]

\[H(X)=E_p[-\log p(X)] \]

\[\int_A^C\frac{đQ}T=常量=S_C-S_A \]

\[\eta_{热机}\leq\eta_{可逆} \]

\[\begin{align} \frac{Q_1+Q_2}{Q_1}\leq\frac{Q_{1可逆}+Q_{2可逆}}{Q_{1可逆}}\tag{1} \end{align} \]

\[\eta=\frac{Q_{1可逆}+Q_{2可逆}}{Q_{1可逆}}=\frac{T_1-T_2}{T_1} \]

\[\begin{align} \frac{Q_{2可逆}}{Q_{1可逆}}=-\frac{T_2}{T_1}，\,\,\,\,\,\,（负号是因为吸放热符号不同）\tag{2} \end{align} \]

\[\frac{Q_1}{T_1}+\frac{Q_2}{T_2}\leq0\tag{3} \]

\[\oint\frac{đQ}T\leq0\tag{4} \]

\[\substack{\int_A^B\frac{đQ}T\\{可逆或不可逆}}\leq\substack{\int_A^B\frac{đQ}T\\{可逆}} \]

\[\substack{\int_A^B\frac{đQ}T\\{可逆}}=S_B-S_A \]

\[\substack{\int_A^B\frac{đQ}T\\{可逆或不可逆}}\leq S_B-S_A \]

\[\frac{đQ}T\leq dS\tag{5} \]

\[dS\geq0 \]

\[đQ=dU+pdV

联立得

为了适应更普遍的情况，我们用广义力的集合 \(X_i\) ，把系统做的功写作

由此我们可以得到在 统计物理 中更有意义的式子

即在恒定体积下，熵S对内能U的偏导确定了热力学温度T

2.2 微观视角下的熵与熵的统计意义

2.2.1 玻尔兹曼熵与概率

2.2.1.1 广延量

一些物理量可以被分为两类，一类是强度量，一类是广延量。强度量不因物质的量的变化而变化，广延量却与物质的量成简单相加关系。还有一些物理量既不是强度量也不是广延量 。毫无疑问，熵是广延量。

2.2.1.2 概率视角

玻尔兹曼用系统状态随机出现的概率描述系统的无序度，并确立了这个概率和系统的熵的关系。

假定有两个独立且不同的平衡态系统， \(p_1,p_2\) 分别是这两个系统独自出现的概率，这两个状态同时出现的概率是 \(p=p_1*p_2\) ，我们用 \(S_1,S_2\) 代表系统1和系统2的熵，因为熵是广延量，故总熵为

是不是觉得和第一章1.2介绍的自信息以及信息熵的推导非常像？因为信息论的熵就是源于这里

因此如果熵和概率有关，那么两者之间的关系就必须是一个对数关系，即

其中C是一个常数

2.2.1.3 玻尔兹曼熵

但是严格来说，玻尔兹曼熵并没有这么简单。微观态数目 \(\Omega\) 是最重要的物理量之一，我们希望通过微观态数目 \(\Omega\) 从微观上引入熵的概念。简单来说，顾名思义，微观态数目就是一个体系微观下可能的状态的数目，就类似于“从黑盒中有可能摸出五个种类的笔”这样的描述，那么对两个系统A和B，以及他们形成的大系统 \(A+B\) ，他们之间的微观态数目的关系是什么呢？这就类似于“黑盒中有 \(\Omega_A\) 种笔，有 \(\Omega_B\) 种本，你随手摸一个笔一个本，有几种可能的情况”，是一个乘法原理（实际理论已经经过我简化和片面化了，为了通俗），所以有

剩下的推导和上面2.2.1.2推导一样，不难得到

其中 \(k\) 是常数，并且计算验证是玻尔兹曼常数（随后会具体证明），这里定义的熵叫玻尔兹曼熵，也叫微观熵

2.2.2 克劳修斯熵（宏观熵）与玻尔兹曼熵（微观熵）的统一

在2.1中我们了解了宏观状态下的克劳修斯熵，也在刚才推出了玻尔兹曼熵的形式，那么他们有什么具体联系呢？

为区别两种熵，我们管克劳修斯熵叫 \(S_C\) ，管玻尔兹曼熵叫 \(S_B\)

2.2.2.1 玻尔兹曼系统

假设对一个系统，其中的粒子可以分辨，它一共有 \(N\) 个粒子，有 \(i\) 个能级，每个能级上都可以放置无数个粒子，第 \(i\) 能级上的粒子数为 \(N_i\) ，能量态为 \(\epsilon_i\) ，简并度为 \(g_i\) （简并度的通俗化解释：比如对于绕原子核公转的电子，每个能级的电子最多有两种自旋，则简并度为2）

那么毫无疑问，玻尔兹曼系统的微观态数目为：

2.2.2.2 微观熵与宏观熵关系的推导与表述

对于简单情况下的玻尔兹曼系统，我们令 \(g_i=1\) ，则有 \(\Omega=\frac{N!}{\prod_iN_i!}\) ，则

由粒子数守恒得知， \(dN=0,d\ln N!\cong d[N\ln N-N]=\ln NdN+N\frac{dN}N-dN=0\) ，于是

对于能量组态{ \(\epsilon_i\) }，由波尔兹曼分布 \(N_i=g_ie^{-\alpha-\beta\epsilon_i}\)

玻尔兹曼分布应该大伙都有所耳闻就不多介绍了，其中 \(e^{-\alpha}=N_0\) ， \(\beta=\frac1{k_BT}\) ， \(\epsilon_i\) 可以粗浅地理解为能量E，不管 \(g_i\) 的话，玻尔兹曼分布可以写成我们常见的形式：

如果对深度学习的玻尔兹曼机有了解的话，应该知道这玩意和能量有关，那个系数就是玻尔兹曼分布后面的这个系数 \(e^{-\frac E{k_BT}}\)

回到我们对玻尔兹曼分布的严谨定义，在 \(g_i=1\) 时，有

带回上式，所以有

由能量守恒，外界做功等于内部状态能量增加

由热力学第一定律可知

比较上述两式，我们有

将该结果带入 \(\ln\Omega\) 的代表式，则

将 \(\beta=\frac1{k_BT}\) 代入，则得

这里已经看到了我们想要的形式，等式左边是玻尔兹曼熵 \(S_B\) 的形式，右边是克劳修斯熵 \(S_C\) 的形式

显然 \(k_B\) 和我们在2.2.1.3推出的(7)式的 \(k\) 在量纲和形式上都符合，因此 \(k_Bd\ln\Omega=dS_B\) ，于是有

宏观上， \({\frac{đQ}T|}_{可逆}=dS_C\) ，所以

因此，只要选取同样的参考点，热力学系统的玻尔兹曼熵与克劳修斯熵完全相同

2.2.3 熵的统计意义——定性与半定量分析

系统如何趋向平衡？统计语言中，热的流动是让系统的态密度增加。

但是因为涉及的前置知识过多过于复杂（热流，量子，和统计物理的主体内容），且笔者水平有限（主要是当时一些内容是速成的，忘了好多，即使重新看书也怕写出什么错误），我们在此只进行定性和半定量的不算特别严谨的分析。

由之前的结论，我们有

因为微观状态数目 \(\Omega\) 小意味着无序程度降低，所以 熵是宏观的热力学系统对应的无序程度的度量，也就是宏观态出现概率大小的标志 。熵高意味着系统包含的微观态数目多，从而宏观态出现的概率大，也就是混乱、分散，无序程度高（ 这里终于将概率和状态数目统一了起来，也就是(6)式和(7)式 ）

再把目光放到(4)式——克劳修斯定理

对于不可逆过程，式子不能取等。也就是说非理想热机（或者就是自然界的能自发发生的过程）会不可避免地将一些能量从高温热库直接泄露到低温热库而没有对外做功。而根据热力学第二定律，能量又不能自发从低温热库跑到高温热库而不引起其他影响，因此泄露的能量就“贬值”了，这些能量被称为无用能。

由此知，熵增意味着又用能减少，被贬值的无用能增多。

具体的实例可以参考诸如第二类永动机的模型，比如：能不能让全球的海水温度自发降低5摄氏度，这样产生的能量够全人类用很久。或者摩擦生热，能否让散逸的热量不产生其他影响地重新成为能带动机械的能量？答案是当然不能。

2.2.4 热力学第二定律的诘难与佯谬

2.2.4.1 洛施密特的诘难

假如“上帝”某一时刻让时间反演，也就是让所有分子同时速度大小不变方向反向，那么宏观历程也会被逆转。换句话说，分子运动是可逆的，由分子的可逆得到宏观的可逆，这样原来熵增的体系会变得熵逐渐下降。

洛施密特的想法设想是可以实现的，已经被计算机模拟证实，但模拟实验随即在初始的反演系统中加入了 \(10^{-8}\) 随机误差，多次实验都发现系统在略微熵减后持续熵增到最大熵状态（数据来源：J. Orban, A. Bellemans, Phys. Lett. , 24A (1967) ,620. ）。可以想象随着分子数目的增多，任何微不足道的误差都能将精准的反演结果荡平。

从上述模拟中我们发现熵增定律 ( 其实是玻尔兹曼的H定律但是太复杂了我们就认为叫熵增定律吧 ) 并非绝对不能违反。玻尔兹曼随后调整他的观点， 熵增是一个统计现象。 熵不是严格单调增的，它增长的概率远大于下降的概率。即使在热平衡，围绕熵的极大值也会有一定的涨落，但是涨落幅度一般是很小的。

2.2.4.2 策尔梅洛的诘难

庞加莱曾证明过一条定理，被叫做始态复现定理：孤立有限的保守动力学系统在有限时间内回复到任意接近初始组态的组态。策尔梅洛用这一定理对热力学第二定律进行诘难，认为热力学不兼容动力学。

玻尔兹曼还是用涨落的概念调和了两者：越大的涨落幅度，对应的概率越低。根据他的估计， \(10^{18}\) 个粒子的系统，庞加莱回归时间（用所有通常的单位）都要用 \(10^{18}\) 位数字来表示，也就是 \(10^{10^{18}}\) 的数量级。而一mol都有多于 \(6*10^{23}\) 个例子，宇宙中的粒子估计有 \(3.28*10^{80}\) 个，宇宙的年龄只有 \(10^{18}\) 量级的秒。因此该理论对宏观系统没有任何现实意义

2.2.4.3 麦克斯韦妖

这是大家耳熟能详的“物理学四大神兽”之一，不在此详细介绍。大概就是一个智能小精灵通过推拉一扇完全光滑的“小窗”让某种分子实现单向输送，从而熵减。 蔡子星老师给我们讲课时，讲过对于麦克斯韦妖，有三个角度：

首先，即使没有这个智能的精灵，粒子也有一定概率单向输送，算是一种涨落的结果，但是正如策尔梅洛诘难中玻尔兹曼的估算，这样达到可被观测量级的输送概率极小，甚至远小于你10m/s撞墙然后身体发生量子隧穿然后穿墙而过的概率（据估算，大约是 \(\frac1{10^{10^{10}}}\) ）

其次，麦克斯韦妖需要拥有体系内所有粒子的信息，起码是每时每刻的类别、位置和速度信息。即使具有这样的信息，你就能知道下一个时刻哪个粒子会碰到“小窗”上吗？（这里涉及到机械决定论，建议开门左转找另一个物理学神兽“拉普拉斯妖”：拥有宇宙中所有粒子某一时刻的全部信息能否正向或逆向得到其他时刻宇宙的所有信息？以及以玻尔为代表的哥本哈根学派和爱因斯坦的大战）

最后再引申，麦克斯韦妖要如何拥有体系内所有粒子的信息呢？确定这些信息是否需要能量，如果需要，这个体系就不是孤立体系；从另一种角度来说，非要认为看作孤立体系，这些信息是既成事实的话，那就说明这些信息也是熵，是负熵。 麦克斯韦妖靠信息这种负熵来干预系统，我们的分析又引到了信息论的熵当中

事情更加有趣了起来。

（蔡老师只讲了三个角度，后面的例子和分析是我添油加醋写的，即使出错也和蔡老师无关，要骂就来骂我就好了 ,,Ծ‸Ծ,, ）

2.3 吉布斯熵与信息

2.3.1 香农定理

1948年，香农发现了香农定理，此后才能在信息论的基础熵，十分普遍地讲述统计方法。概率论中，香农定力是一个最基础的定理，它能描述为：

如果一个系统的n个事件具有彼此独立的概率 \(p_i\,\,\,\,\,\,\,\,(i=1,2,\cdots,n)\) ，那么存在一个独特的函数

对于一组给定的约束，当函数 \(f\) 取最大值时， \(p_i\,\,\,\,\,\,\,\,(i=1,2,\cdots,n)\) 是系统的最概然分布

2.3.2 吉布斯熵

按照香农定理，在没有任何约束条件时，最有可能的概率分布是所有事件的概率都一样

\(-\sum_i^np_i\ln p_i\) 取最大值的情况是所有的 \(p_i\) 彼此相等的情况（ 这可以由 \(-x\ln x\) 是严格凹函数证明 （国内的凹函数的定义很多是和国外相反的，这里的凹函数是二阶导为负））

这与熵增定理惊人的相似，直接导致了吉布斯熵的定义：

因此这个函数的最大值与系统的最概然分布对应，这里的熵可以用于平衡态或非平衡态对应

信息论中，信息的定义是

是个负值（第一章的介绍中是正的是工程上方便研究），所以信息也叫做负熵。

2.3.3 香农熵，相对熵和互信息

这些内容基本就是出于应用和工程需求被定义出来的，出于文章结构的完整性考虑列举于下

2.3.3.1 联合熵

一对离散随机变量 \((X,Y)\) 服从联合分布 \(p(x,y)\) ，其联合熵 \(H(X,Y)\) 定义为

联合熵的定义是单个变量的熵的定义的简单推广

2.3.3.2 条件熵

条件熵用来度量在一个一直随机变量的强况下，另一个随机变量还存在的不确定度

（数学上就是把自信息量的考量换成条件概率了仅此而已）

\(H(X|Y)\leq H(X)\) ，当且仅当X和Y相互独立时取等

2.3.3.3 链式法则

推论：