前言
隐式流 (INR) 示意在 3D 视觉中是一个新型的畛域，也是一个十分热门的畛域，能够看作是 PDE 的范式
Pan, Shaowu, Steven L. Brunton, and J. Nathan Kutz. “Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm of spatio-temporal data.” arXiv preprint arXiv:2204.03216 (2022).
隐式神经流能够看作是 DeepOnet 的拓展，他的网络架构其实是和 DeepOnet 是高度类似的，也是算子学习的一种，是一种网格无关的办法，这与 FNO 等具备显著差异。这篇文章算是对 DeepOnet 进行了一个魔改，利用了神经网络最初一层的特点，算是一篇不错的文章。
问题形容
思考到具备不同工夫或参数的三维时空数据
$$
\partial \mathbf{u}/\partial t=\mathcal{G} \left(\boldsymbol{\mu},\mathbf{u},\nabla \mathbf{u},\nabla ^2\mathbf{u},… \right) ,
$$
其中，\((\mathbf{x},t,\boldsymbol{\mu})\in \Omega =\mathcal{X} \times \mathcal{T} \times \mathcal{D} ,\mathcal{X} \subset \mathbb{R} ^3,\mathcal{T} \subset \mathbb{R} ^+,\mathcal{D} \subset \mathbb{R} ^d \)，\(\mathcal{G} \)是一类非线性算子。
在给定初始条件和边界条件的状况下，咱们针对不同的参数或工夫，乃至只有稠密观测值的状况进行 PDE 求解。
办法与网络架构
这篇文章的思维是和 HyperNetworks 是一样的
Ha, D., Dai, A., & Le, Q. V. (2016). Hypernetworks. arXiv preprint arXiv:1609.09106.
就是利用 ParameterNet 来决定 ShapeNet 的参数。具体而言，就如下图所示
这里咱们只优化 ParameterNet 网络的参数 \(\boldsymbol{\Theta} \)，来决定 ShapeNet 网络的参数
$$
\left[\begin{array}{llllll}
\operatorname{vec}^{\top}\left(\begin{array}{l}
\mathbf{W}_1
\end{array}\right. & \ldots & \operatorname{vec}^{\top}\left(\begin{array}{llll}
\left.\mathbf{W}_L\right) & \mathbf{b}_1^{\top} & \ldots & \mathbf{b}_L^{\top}
\end{array}\right]=f_{\mathrm{MLP}}(t, \boldsymbol{\mu} ; \boldsymbol{\Theta})
\end{array}\right.
$$
图上的最优示意 \(\zeta_1 \cdots \zeta_r \)是通过 POD-QDEIM 办法学习到的 r 个最优数据的示意。
Drmac, Z., & Gugercin, S. (2016). A new selection operator for the discrete empirical interpolation method—improved a priori error bound and extensions. SIAM Journal on Scientific Computing, 38(2), A631-A648.
loss 函数的模式为
$$
\min _{\boldsymbol{\Theta}} \frac{1}{M} \sum_{i=1}^M\left(\mathbf{u}_{\mathrm{MLP}}\left(\mathbf{x}_i ; \mathscr{W}\left(t_i, \boldsymbol{\mu}_i ; \boldsymbol{\Theta}\right), \mathscr{B}\left(t_i, \boldsymbol{\mu}_i ; \boldsymbol{\Theta}\right)\right)-\mathbf{u}\left(\mathbf{x}_i, t_i, \boldsymbol{\mu}_i\right)\right)^2
$$
此外，为了学习到多尺度特色信息，ShapeNet 的网络架构采纳了 SIREN 办法来学习高频信息，这样也会放大噪声信号然而也能保留更多的特色信息。
Sitzmann, V., Martel, J., Bergman, A., Lindell, D., & Wetzstein, G. (2020). Implicit neural representations with periodic activation functions. Advances in Neural Information Processing Systems, 33, 7462-7473.
具体的网络架构如下所示：
对于个别的状况，ParameterNe 的输出是 \(t,\boldsymbol{\mu} \)
对于算例受限的状况，也即输出数据的量是受限的状况，咱们应该抉择最好的若干个传感器地位，文章介绍应用 POD-QDEIM 学习到 \(p \)个最优的传感器地位，而后将对应的传感器数据
$$
\begin{gathered}
u\left(x_{\gamma_1}, y_{\gamma_1}, z_{\gamma_1}\right) \\
\bullet \\
\bullet \\
u\left(x_{\gamma_p}, y_{\gamma_p}, z_{\gamma_p}\right)
\end{gathered}
$$
作为 ParameterNe 的输出。
试验
试验局部能够去参考原论文，作者曾经作了具体的论述，有任何问题都能够深入研究，这里就不再赘述。
论断
本文将 INR 引入到 PDE 求解中，将空间复杂度和其余因素进行了拆散，遵循了 PDE 的流形学习思维，实现了网格无关且进步了性能。这个方向和 CV 里的 INR 是一脉相承，最近几年肯定会大火的，如果有趣味肯定要深入研究趣味，置信各位都能发表不错的文章。
如果有趣味，读者也能够参考以下的论文:
Boussif, Oussama, et al. “MAgNet: Mesh Agnostic Neural PDE Solver.” arXiv preprint arXiv:2210.05495 (2022).
Yin, Yuan, et al. “Continuous PDE Dynamics Forecasting with Implicit Neural Representations.” arXiv preprint arXiv:2209.14855 (2022).