摘要：近年来，基于数据驱动的机器学习模型开始提供可代替的办法，并在许多工作中优于纯物理学驱动模型。
本文分享自华为云社区《如何将常识引入机器学习模型晋升泛化能力？》，作者：PG13。
基于物理学的模型是当今技术和迷信的外围。近年来，基于数据驱动的机器学习模型开始提供可代替的办法，并在许多工作中优于纯物理学驱动模型。然而，基于数据驱动的模型训练须要大量的数据，而且它们的决策推理可能难以解释，而且泛化性能依然是一个挑战。而同时联合数据和物理学则能够两败俱伤，当机器学习算法在学习时，它们实际上是在你抉择的算法、架构和配置所定义的假如空间中去寻找解。即便对于简略的算法，假如空间也可能相当大，而数据是咱们在这个微小空间中寻找解决方案的惟一指南。而如果咱们能够应用咱们对世界的常识（例如物理学）和数据一起来领导解空间的搜寻，后果会怎么呢？
如何用物理学领导机器学习算法
如何利用物理学来领导机器学习模型，总结一下次要有两种办法：（1）应用物理学实践计算额定特色（特色工程），与测量值一起输出模型进行训练；（2）在损失函数中增加物理不统一惩办项以惩办与物理学不统一的预测。
第一种办法，也就是特色工程，在机器学习畛域中宽泛应用。而第二种办法很像增加一个正则化项来惩办过拟合景象，它们在损失函数中增加了一个物理不统一惩办项。因而，在进行参数优化时，优化算法还需最小化物理上不统一的后果。
在论文 [1] 中，Karpatne 等人将这两种办法与神经网络相结合，并展现了一种他们称之为物理疏导神经网络 (PGNN) 的算法。PGNN 能够提供两个次要劣势：
- 实现泛化是机器学习中一个根本挑战。因为大多物理模型不依赖于数据，因而它们在可能在未见过的数据上也能有良好的体现，即便这些数据来自于不同的散布。
- 机器学习模型有时也被称为黑盒模型，因为它并不总是分明模型如何进行特定的决策。可解释 AI（XAI）有很多的工作要做以进步模型的可解释性。而 PGNN 能够为 XAI 提供根底，因为他们可能呈现出物理上统一且可解释的后果。
利用示例：湖泊温度建模
在论文 [1] 中，以湖泊温度建模为例来证实了 PGNN 的有效性。家喻户晓，水温管制着生存在湖中的生物物种的成长、生存和滋生。因而，精确的温度观测和预测对于理解社区中产生的变动至关重要。论文的工作是开发一个模型，能够依据给定的深度和工夫来预测湖泊的水温。
当初，让咱们看看他们是如何利用 (1) 特色工程和 (2) 损失函数批改来解决这个问题的。对于特色工程，他们提出了一种称为 GLM 的模型来生成新特色并将其输出神经网络。它是一个基于物理学的模型，它能捕获管制湖泊温度动静的过程（因为太阳、蒸发等引起的加热）。那么如何定义这个物理不统一项呢？家喻户晓，密度大的水会下沉至更深处，而水的温度与其密度之间的物理学关系也是已知的。因而，咱们的模型在预测时应该遵循这样一个事实，即点越深，预测密度越高。如果对于两个点，模型预测进去更凑近湖面的点的密度更高，这就是在物理上不统一的预测。
通过以上的剖析，当初能够将这个想法合并到咱们的损失函数中。如果 ρA> ρB，也就是预测不合乎物理一致性，咱们须要进行惩办，否则不进行惩办。这能够通过将函数 max(ρA- ρB, 0)的值增加到损失函数中来轻松实现。如果 ρA> ρB（即物理不统一），该函数将给出一个正值，这将增大损失函数的值，否则为零，放弃损失函数不变。
此时，咱们还须要对该函数进行两点批改：(1) 咱们须要思考所有点对的物理不统一状况，而不仅仅只是某一对。因而，能够对所有点对的 max(ρA- ρB, 0)值求均匀。(2) 此外，最小化物理不统一惩办项的权重也很要害。这能够通过将均匀物理不统一项乘以超参数（与正则化参数相似）来实现。如下公式所示：
对 4 个模型的后果进行了比拟，别离是：
- PHY: 通用湖泊模型（GLM）
- NN：神经网络
- PGNN0：具有特征工程的神经网络，GLM 模型的后果作为额定特色输出神经网络。
- PGNN：具有特征工程和修改损失函数的神经网络。
以及两个评估指标：
RMSE：均方根误差
物理不统一分数：模型的预测不合乎物理一致性后果的占比。
将 NN 与 PHY 进行比拟，咱们能够得出结论，NN 以损失物理不统一的后果为代价提供了更精确的预测。而比拟 PGNN0 和 PGNN，咱们能够看到通过批改了损失函数打消了物理不一致性。而预测准确性的进步次要是因为特色工程以及损失函数的一些奉献。
总而言之，这些初步后果向咱们表明，PGNN 十分有心愿提供较精确且物理统一的后果。此外，咱们通过将物理学的常识进行转换引入损失函数，晋升了机器学习模型的泛化性能。这个看似简略的想法有可能从根本上改善咱们进行机器学习和科学研究的形式。
参考文献
[1] Physics-guided Neural Networks(PGNN): An Application in Lake Temperature Modeling.
[2] Theory-guided Data Science: A New Paradigm for Scientific Discovery from Data.
点击关注，第一工夫理解华为云陈腐技术~