简介
DeepOnet 引领了深度学习与算子学习的联合，之后又有 FNO 办法被提出，第二种办法实质是学习 Green 函数，利用傅里叶变动联合频率截断将计算复杂度转化为线性方程式。FNO 的实践剖析就曾经让人看得云里雾里了，能够分明天文出一个脉络就是通过算子的迫近技术简化计算过程放慢推理速度，这篇文章能够说是直击 Green 函数的实质，最终发表在了 JMLR 上，其程度是半信半疑的。
Boullé, N., Kim, S., Shi, T., & Townsend, A. (2022). Learning Green’s functions associated with time-dependent partial differential equations. Journal of Machine Learning Research, 23(218), 1-34.
次要后果
这篇文章就介绍了一件事，思考一个有界空间上的示意域上的抛物线偏微分算子
$$
\mathcal{P} u:=u_t-\nabla \cdot(A(x, t) \nabla u)=f(x, t), \quad x \in \Omega, t \in[0, T], 0<T<\infty
$$
Green 函数就是 \(G(x, t, y, s) \)，可能疾速计算下面那个偏微分算子的后果
$$
u(x, t)=\int_0^T \int_{\Omega} G(x, t, y, s) f(y, s) \mathrm{d} y \mathrm{~d} s, \quad(x, t) \in \mathcal{U}
$$
看到这公式应该是会头皮发麻的，Green 函数蕴含了四个维度，也就说其的计算复杂度也随着这四个维度的减少而减少，然而如果咱们能找到一个神经网络去近似示意这个函数，那么这个偏微分算子的求解速度可能大大增快。
上面给出一个例子，是一个非常简单的偏微分算子了：
$$
\frac{\partial u}{\partial t}-\nabla^2 u=f(x, t), \quad u(x, 0)=0, \quad u(0, t)=0, \quad(x, t) \in \mathbb{R}^n \times \mathbb{R}
$$
对应的 Green 函数的解析表达式是上面的模式
$$
G(x, t, y, s)=\frac{\Theta(t-s)}{(4 \pi(t-s))^{n / 2}} \exp \left(-\frac{1}{4} \frac{|x-y|^2}{t-s}\right), \quad(x, t) \neq(y, s) \in \mathbb{R}^n \times \mathbb{R}
$$
那么对于更加简单的情景，是简直找不到解析解，那咱们就想通过神经网络去学习这个 Green 函数，然而这外面有一个问题，四个变量耦合的 Green 函数很难间接去学习，那么这篇文章就提出一种低秩降阶的办法。
实践剖析比较复杂，我这里就不再赘述了，如果读者有趣味能够参考原文，这里只给出几个次要的后果，这篇文章只是领导实际。
定理 1：对于充沛小的 \(0<\epsilon<1 \) 和 \(k \leq k_\epsilon=\mathcal{O}\left(\left\lceil\log \frac{1}{\epsilon}\right\rceil^{n+3}\right) \) 结，存在一个（低秩）可拆散的近似值，其模式
$$
G_k(x, t, y, s)=\sum_{i=1}^k u_i(x, t) v_i(y, s), \quad(x, t) \in Q_X,(y, s) \in Q_Y,
$$
使得
$$
\left\|G-G_k\right\|_{L^2\left(Q_X \times Q_Y\right)} \leq \epsilon\|G\|_{L^2\left(\hat{Q}_X \times Q_Y\right)}
$$
定理 10：设 \(\Omega \subset \mathbb{R}^n\) 是一个满足平均内锥条件的域。
\(\mathcal{U}=\Omega \times[0, T], \epsilon>0 \) 适当的小，\(G \) 是抛物线算子相干的 Green 函数。那么，存在一种随机算法，使得咱们能够构建一个 \(G \) 的近似值 \(\tilde{G} \)，应用 \(\mathcal{O}\left(\epsilon^{-\frac{n+2}{2}} \log (1 / \epsilon)\right)\) 个输入输出对和它的邻接点，以便
$$
\|G-\tilde{G}\|_{L^1(\mathcal{U} \times \mathcal{U})}=\mathcal{O}\left(\Gamma_\epsilon^{-1 / 2} \epsilon\right)\|G\|_{L^1(\mathcal{U} \times \mathcal{U})}
$$
其概率值为 \(\geq 1-\mathcal{O}\left(\epsilon^{\log ^{n+1}(1 / \epsilon)}\right)\)。
这两个定理算是提供了用算子学习实践对抛物线算子相干的 Green 函数进行迫近的实践根底，这样的话能够基于这篇文章设计深度学习办法进行求解抛物线算子。具体的推导切实太简单，如果不是数学业余的同学很难去看懂，然而后续能够推广这项工作到其余类型的算子。
总结
基于 Green 函数的算子学习办法为实践剖析打下了松软的根底，也为后续的网络架构设计等提供了全新的视角，这些办法的成果可能没那么好，然而为后续的倒退提供了理论依据，这就是我认为实践文章的最重要价值，为实际提供办法。文章最初，作者提到了一个问题，那就是 Physics Informed Machine Learning 常常会遇到一个问题，那就是难以优化，也就是说损失函数的立体是十分崎岖不平的，如下图所示
具体起因就是嵌入了物理先验常识就去，也就是将偏微分方程作为惩办项退出 loss 中，具体能够参考上面的论文：
Krishnapriyan, A., Gholami, A., Zhe, S., Kirby, R., & Mahoney, M. W. (2021). Characterizing possible failure modes in physics-informed neural networks. Advances in Neural Information Processing Systems, 34, 26548-26560.