关于深度学习:高斯过程相关研究的新进展的8篇论文推荐统计-人工智能

2次阅读

共计 3401 个字符,预计需要花费 9 分钟才能阅读完成。

1、Low-Precision Arithmetic for Fast Gaussian Processes

Wesley J. Maddox, Andres Potapczynski, Andrew Gordon Wilson

https://arxiv.org/abs/2207.06856

低精度算法对神经网络的训练产生了变革性的影响,升高了对计算量、内存和算力的需要。然而高斯过程(GPS)中却很少应用低精度的算法,这是因为 GPS 的简单线性代数在低精确度中是不稳固的。论文钻研了在半精度训练 GPs 时可能产生的不同的生效模式。为了防止这些生效模式,提出了一种多层面的办法,包含共轭梯度与从新正交化、混合精度和预处理。论文提出的这些办法在大范畴设置的低精度下显著进步了共轭梯度的数值稳定性和理论性能,使 GPs 可能在 10 小时外在单个 GPU 上训练 180 万个数据点,而无需任何稠密迫近。

2、Markovian Gaussian Process Variational Autoencoders

Harrison Zhu, Carles Balsells Rodas, Yingzhen Li

https://arxiv.org/abs/2207.05543

深度生成模型宽泛用于高维工夫序列的建模,如视频动画、音频和气象数据等。序列变分自编码器已被胜利地利用于许多利用中,许多变体模型依赖于离散工夫办法和递归神经网络(RNNs)。间断工夫办法最近取得了新的停顿,在不规则采样工夫序列的状况下,它们能够比离散工夫办法更好地解决数据。这里其中一类是高斯过程变分自编码器(GPVAEs),VAE 先验设置为高斯过程(GPs),容许通过核函数和潜在空间的可解释性对演绎偏差进行显式编码。然而 GPVAEs 的一个次要限度是它继承了与 GPs 雷同的三次计算开销。在这篇论文中,利用马尔可夫 GPs 的等效离散状态空间示意,通过卡尔曼滤波和平滑实现线性工夫 GP 求解器。通过测试工作显示,论文的办法体现良好,特地是优于基于 rnn 的模型。

3、Adaptive Nonlinear Regulation via Gaussian Process

Lorenzo Gentilini, Michelangelo Bin, Lorenzo Marconi

https://arxiv.org/abs/2206.12225

该论文通过提出基于学习的基于外部模型的设计策略来解决非线性零碎的输入调节问题。从最近在提出的自适应外部模型设计技术中失去了一些灵感,并通过高斯过程回归器扩大它。基于学习的适应性是通过遵循“事件触发”的逻辑来执行的,这样能够应用混合工具来剖析后果闭环零碎。与最近中提出的办法不同,在论文办法中友元应该属于一个特定的无限维模型集,并且只须要现实稳态管制动作的平滑性。论文还通过数值模仿证实了所提出的办法如何优于以往的办法

4、Additive Gaussian Processes Revisited

Xiaoyu Lu, Alexis Boukouvalas, James Hensman

https://arxiv.org/abs/2206.09861

高斯过程模型是一类具备丰盛表征能力并且灵便的非参数模型。通过应用加性构造的高斯过程,能够对简单的响应进行建模,并同时放弃可解释性。以前的工作表明,加性高斯过程模型须要高维相互作用项。论文提出了正交加性核(OAK),它对加性函数施加了一个正交束缚,这使可辨认的、低维的函数关系示意成为可能。将 OAK 核连贯到函数方差分析合成,并应用改良的收敛速度更快稠密计算方法。通过应用大量的可加性低维项,证实了 OAK 模型实现了与黑箱模型类似或更好的预测性能,同时保留了可解释性

5、Gradient-based explanations for Gaussian Process regression and classification models

Sarem Seitz

https://arxiv.org/abs/2205.12797

高斯过程已被证实是一种牢靠和无效的概率机器学习办法。因为最近和以后的停顿,利用 GPs 对简单数据进行建模变得越来越可行。如果你想在神经和深度学习办法找到一个乏味代替计划,高斯过程能够说是目前最先进的机器学习办法。人们对所谓的可解释办法越来越感兴趣——实质上是旨在使机器学习模型的决策过程对人类通明。当不合逻辑或有偏见的推理可能导致对人类理论不利的结果时,特地须要这种可能进行解释的办法。现实状况下,可解释的机器学习应该有助于发现模型中的缺点,并帮忙后续的调试过程。机器学习可解释性的一个沉闷的钻研方向是基于梯度的办法,它已胜利地利用于简单神经网络。思考到 GPs 在差分条件下是关闭的,基于梯度的 GPs 可解释性是一个有前景的钻研畛域。本文次要通过梯度来解释 GP 分类器,与 GP 回归相同,导数 GP 并不可能间接取得。

6、Real-Time Trajectory Planning for Autonomous Driving with Gaussian Process and Incremental Refinement

Cheng Jie, Chen Yingbing, Zhang Qingwen, Gan Lu, Liu Ming

https://arxiv.org/abs/2205.11853

动静环境下的实时静止轨迹布局是主动驾驶的要害和挑战。在这篇论文中,通过迭代和增量门路速度优化,提出了一种用于简单动静场景下主动驾驶的高效轨迹规划系统。利用布局问题的解耦构造,基于高斯过程的门路布局首先思考动态避障和曲率束缚并在 Frenét 帧中生成一个间断的弧长参数化门路。并引入了一种高效的 s - t 图搜寻办法,在生成的门路上寻找速度剖面,以应答动静环境。最初对门路和速度进行增量和迭代优化,确保动力学可行性。在各种动态障碍物和动静代理的仿真场景验证了所提办法的有效性和鲁棒性。试验结果表明,该办法能够在 20 Hz 的频率下运行。

7、Bayesian Active Learning with Fully Bayesian Gaussian Processes

Christoffer Riis, Francisco N. Antunes, Frederik Boe Hüttel, Carlos Lima Azevedo, Francisco Camara Pereira

https://arxiv.org/abs/2205.10186

偏差 - 方差衡量是机器学习中一个家喻户晓的问题,它会在可用数据越少的状况下变得越显著。在被动学习中,标记数据稀缺或难以获得,疏忽这种衡量会导致低效和非最优查问,从而导致不必要的数据标记。在这篇论文中,重点钻研了高斯过程的被动学习。对于 GP 算法,通过对长度尺度和噪声项两个超参数的优化来进行偏方差衡量。思考到超参数后验的最优模态等价于最优偏差 - 方差衡量,对该后验进行了近似,并利用它设计了两个新的获取函数。第一个是 Query-by-Committee(B-QBC)的贝叶斯变体,第二个是通过混合高斯过程查问 (QB-MGP) 公式显式最小化预测方差的扩大。在 6 个常见的模仿中,以教训证实 B -QBC 均匀而言,实现了最佳的边际似然,而 QB-MGP 实现了最佳的预测性能。论文钻研表明,在获取函数中合并偏差 - 方差衡量能够加重不必要和低廉的数据标记。

8、High-dimensional additive Gaussian processes under monotonicity constraints

Andrés F. López-Lopera, François Bachoc, Olivier Roustant

https://arxiv.org/abs/2205.08528

论文引入了一个思考枯燥性束缚和可扩大到高维的加性高斯过程框架。首先,证实框架可能满足输出空间中所有的束缚。还证实了更一般的的分项线性不等式束缚也能够进行相似地解决,例如分项凸性。其次,提出了用于序列降维的加性 MaxMod 算法。通过间断最大化平方范数准则,MaxMod 辨认输出维度并优化最重要的维度。这个办法能够用线性代复杂度显式地计算出来。最初,提供了残缺框架的开源代码。在枯燥性束缚下,在几个具备数百个维度的综合例子中以及在理论利用中证实了该办法的性能和可扩展性。

https://avoid.overfit.cn/post/e934433f40c5442b96a0106aa2d0774c

正文完
 0