共计 2121 个字符，预计需要花费 6 分钟才能阅读完成。
1、Hybridised Loss Functions for Improved Neural Network Generalisation
Matthew C. Dickson, Anna S. Bosman, Katherine M. Malan
https://arxiv.org/pdf/2204.12…
损失函数在人工神经网络 (ANN) 的训练中施展着重要作用，并且会影响 ANN 模型的泛化能力以及其余属性。曾经有钻研表明穿插熵和平方和误差损失函数会导致不同的训练后果，并体现出互相补充的不同属性。之前有人提出，熵和平方和误差损失函数的混合能够联合这两个函数的长处，同时限度它们的毛病。本论文钻研了这种混合损失函数的有效性，结果表明，两种损失函数的混合进步了神经网络思考问题上的泛化能力。以平方和误差损失函数开始训练而后切换到穿插熵损失函数的混合损失函数能够体现出最佳的性能，或者与最佳损失函数没有显着差别。这项钻研表明，通过切换到穿插熵损失函数，能够进一步利用平方和误差损失函数发现的最小值。因而能够得出结论，两种损失函数的混合能够进步神经网络的性能。
2、Bias-Variance Decompositions for Margin Losses
Danny Wood, Tingting Mu, Gavin Brown
https://arxiv.org/pdf/2204.12…
论文引入了一种新鲜的偏差方差合成，以及 Margin Losses 等新的损失函数。钻研表明对于所有 convex margin losses，预期危险合成为一个“核心”模型的危险和一个对于训练数据变动的性能边际量化变动的术语。这些合成为从咱们了解模型过拟合 / 欠拟合提供了一种诊断工具。
3、The Multiscale Structure of Neural Network Loss Functions: The Effect on Optimization and Origin
Chao Ma, Lei Wu, Lexing Ying
https://arxiv.org/pdf/2204.11…
部分二次迫近已被宽泛用于钻研神经网络损失函数在最小值左近的优化。然而它通常在最小值的一个十分小的邻域内成立，并且无法解释在优化过程中察看到的许多景象。在这篇论文中，钻研了神经网络损失函数的构造及其对超出良好二次迫近范畴的区域的优化的影响。在数值上察看神经网络损失函数具备多尺度构造，体现为两种形式：（1）在最小值邻域中，损失混合了尺度的间断，并以次二次的形式增长;（2）在更大的区域中，损失分明地显示了几个独自的比例尺度。应用次二次增长，咱们可能解释梯度降落（GD）办法察看到的稳固边缘景象 [4]。应用独自的尺度，能够通过简略的例子来解释学习率衰减的工作机制。最初，论文钻研了多尺度构造的起源，并提出训练数据的不平均性是其起因之一。通过构建一个两层神经网络问题，证实了不同大小的训练数据会产生不同尺度的损失函数，产生次二次增长或多个独自的尺度
4、Spherical Rotation Dimension Reduction with Geometric Loss Functions(arXiv)
Hengrui Luo, Didong Li
https://arxiv.org/pdf/2204.10975
古代的数据集个别都会蕴含高维空间和非平庸的几何形态。在数据分析中缩小维数同时保留数据集的几何构造将很有帮忙。受此观点的启发，论文提出了一种通过联合几何信息的通用降维办法。论文提出的的球面旋转重量剖析 (SRCA) 是一种降维办法，它应用球体或椭球体来迫近低维流形。该办法不仅在实践和算法方面对球面重量剖析（SPCA）办法进行了推广，而且对论文提出办法进行了全面的比拟，既能够作为具备实践保障的优化问题，也能够作为数据的构造放弃低秩示意。与最先进的竞争对手相干的结果显示，在应用更少的组件和更好的构造保留精确迫近子空间的能力方面获得了相当大的提高。此外论文指出，这种办法是在降维工作中应用几何诱导损失函数的巨大思维的具体体现。
5、Improving Few-Shot Part Segmentation using Coarse Supervision
Indrila Saha、Jizhu Cheng、Suvransu Maji
https://arxiv.org/pdf/2204.05…
获取具体标注的老本是训练用于语义宰割模型一个重要瓶颈。论文提出了一个能够利用毛糙的标签框架，如背景掩码和关键点地位，能够用于一些类别以改善局部宰割模型的性能。然而，这些标注是为不同的工作收集的，可能具备不同的标签格调，有时不能很容易地映射到指标的标签。因而，论文倡议独特学习标签局部宰割模型之间的依赖关系，这样能够容许模型利用来自不同标签的进行互相的监督。论文在加州理工大学 - 加州大学圣地亚哥分校的鸟类和 OID Aircraft 数据集上制订了一个基准。并且证实了改办法优于基于多任务学习、半监督学习和依赖于人工设计的利用稠密监督的损失函数等办法的基线
https://avoid.overfit.cn/post/e47482a73a0640d39f9a870765f80164
作者：moondeep
