前言
隐式流(INR)示意在3D视觉中是一个新型的畛域，也是一个十分热门的畛域，能够看作是PDE的范式
Pan, Shaowu, Steven L. Brunton, and J. Nathan Kutz. "Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm of spatio-temporal data." arXiv preprint arXiv:2204.03216 (2022).
隐式神经流能够看作是DeepOnet的拓展，他的网络架构其实是和DeepOnet是高度类似的，也是算子学习的一种，是一种网格无关的办法，这与FNO等具备显著差异。这篇文章算是对DeepOnet进行了一个魔改，利用了神经网络最初一层的特点，算是一篇不错的文章。
问题形容
思考到具备不同工夫或参数的三维时空数据
$$\partial \mathbf{u}/\partial t=\mathcal{G} \left( \boldsymbol{\mu },\mathbf{u},\nabla \mathbf{u},\nabla ^2\mathbf{u},... \right) ,$$
其中，\( (\mathbf{x},t,\boldsymbol{\mu })\in \Omega =\mathcal{X} \times \mathcal{T} \times \mathcal{D} ,\mathcal{X} \subset \mathbb{R} ^3,\mathcal{T} \subset \mathbb{R} ^+,\mathcal{D} \subset \mathbb{R} ^d \)，\( \mathcal{G} \)是一类非线性算子。
在给定初始条件和边界条件的状况下，咱们针对不同的参数或工夫，乃至只有稠密观测值的状况进行PDE求解。
办法与网络架构
这篇文章的思维是和HyperNetworks是一样的
Ha, D., Dai, A., & Le, Q. V. (2016). Hypernetworks. arXiv preprint arXiv:1609.09106.
就是利用ParameterNet来决定ShapeNet的参数。具体而言，就如下图所示
这里咱们只优化ParameterNet网络的参数 \( \boldsymbol{\Theta} \)，来决定ShapeNet网络的参数
$$\left[\begin{array}{llllll}\operatorname{vec}^{\top}\left(\begin{array}{l}\mathbf{W}_1\end{array}\right. & \ldots & \operatorname{vec}^{\top}\left(\begin{array}{llll}\left.\mathbf{W}_L\right) & \mathbf{b}_1^{\top} & \ldots & \mathbf{b}_L^{\top}\end{array}\right]=f_{\mathrm{MLP}}(t, \boldsymbol{\mu} ; \boldsymbol{\Theta})\end{array}\right.$$
图上的最优示意\( \zeta_1 \cdots \zeta_r \)是通过POD-QDEIM办法学习到的r个最优数据的示意。
Drmac, Z., & Gugercin, S. (2016). A new selection operator for the discrete empirical interpolation method---improved a priori error bound and extensions. SIAM Journal on Scientific Computing, 38(2), A631-A648.
loss函数的模式为
$$\min _{\boldsymbol{\Theta}} \frac{1}{M} \sum_{i=1}^M\left(\mathbf{u}_{\mathrm{MLP}}\left(\mathbf{x}_i ; \mathscr{W}\left(t_i, \boldsymbol{\mu}_i ; \boldsymbol{\Theta}\right), \mathscr{B}\left(t_i, \boldsymbol{\mu}_i ; \boldsymbol{\Theta}\right)\right)-\mathbf{u}\left(\mathbf{x}_i, t_i, \boldsymbol{\mu}_i\right)\right)^2$$
此外，为了学习到多尺度特色信息，ShapeNet的网络架构采纳了SIREN办法来学习高频信息，这样也会放大噪声信号然而也能保留更多的特色信息。
Sitzmann, V., Martel, J., Bergman, A., Lindell, D., & Wetzstein, G. (2020). Implicit neural representations with periodic activation functions. Advances in Neural Information Processing Systems, 33, 7462-7473.
具体的网络架构如下所示：
对于个别的状况，ParameterNe的输出是\( t,\boldsymbol{\mu } \)
对于算例受限的状况，也即输出数据的量是受限的状况，咱们应该抉择最好的若干个传感器地位，文章介绍应用POD-QDEIM学习到\( p \)个最优的传感器地位，而后将对应的传感器数据
$$\begin{gathered}u\left(x_{\gamma_1}, y_{\gamma_1}, z_{\gamma_1}\right) \\\bullet \\\bullet \\u\left(x_{\gamma_p}, y_{\gamma_p}, z_{\gamma_p}\right)\end{gathered}$$
作为ParameterNe的输出。
试验
试验局部能够去参考原论文，作者曾经作了具体的论述，有任何问题都能够深入研究，这里就不再赘述。
论断
本文将INR引入到PDE求解中，将空间复杂度和其余因素进行了拆散，遵循了PDE的流形学习思维，实现了网格无关且进步了性能。这个方向和CV里的INR是一脉相承，最近几年肯定会大火的，如果有趣味肯定要深入研究趣味，置信各位都能发表不错的文章。
如果有趣味，读者也能够参考以下的论文:
Boussif, Oussama, et al. "MAgNet: Mesh Agnostic Neural PDE Solver." arXiv preprint arXiv:2210.05495 (2022).
Yin, Yuan, et al. "Continuous PDE Dynamics Forecasting with Implicit Neural Representations." arXiv preprint arXiv:2209.14855 (2022).