Evaluating Deep Neural Network Ensembles by Majority Voting cum Meta-Learning scheme
https://arxiv.org/pdf/2105.03819
Anmol Jain, Aishwary Kumar, Seba Susan
深度神经网络 (DNN) 容易适度拟合，过拟合的网络会导致对于新的数据实例体现不佳。该论文提出了不应用单个 DNN 作为分类器，而是应用一个由七个独立 DNN 学习器组成的汇合，这些 DNN 都会放弃它们的架构和外在属性雷同，然而应用不同的数据输出。为了在训练输出中引入多样性，每一个 DNN 将会删除七分之一的输出数据，并从残余的样本中通过 bootstrap 抽样进行补充。论文提出了一种新的技术来联合 DNN 学习者的预测。这种办法被称 pre-filtering by majority voting coupled with stacked meta-learner，它在调配最终类标签之前对预测执行两步置信度查看。论文将所有算法在人类流动辨认 (Human Activity Recognition, HAR)、气体传感器阵列漂移(Gas sensor array drift)、Isolet、垃圾邮件(Spam-base) 和互联网广告五个基准数据集上进行了测试，发现所提出的集成办法比单个 DNN 和多 DNN 的均匀集成，以及多元化投票和元学习的基线办法取得了更高的准确率
Online parameter inference for the simulation of a Bunsen flame using heteroscedastic Bayesian neural network ensembles
https://arxiv.org/pdf/2104.13201
Maximilian L. Croci, Ushnish Sengupta, Matthew P. Juniper
本文提出了一种贝叶斯数据驱动的机器学习办法，用于管道预混火焰 g 方程模型参数的在线推理。利用 g 方程求解器 LSGEN2D 模仿 170 万个火焰锋面，训练贝叶斯神经网络汇合，学习给定观测值的模型参数的贝叶斯后验散布。而后推断本生火焰试验的参数，以便在 LSGEN2D 中模仿这些试验的动力学过程。、
Transfer Learning with Ensembles of Deep Neural Networks for Skin Cancer Detection in Imbalanced Data Sets
https://arxiv.org/pdf/2103.12068
Aqsa Saeed Qureshi, Teemu Roos
先前曾经提出了了几种用于从医学图像中精确检测皮肤癌的机器学习技术。其中许多技术都基于预训练的卷积神经网络 (CNN)，它能够基于无限数量的训练数据来训练模型。然而这些模型的分类准确性依然受自恶性肿瘤的代表性图像稀缺的重大限度。所以论文提出了一种新鲜的基于集成的 CNN 架构，其中多个 CNN 模型，其中一些是预训练的，而另外一些仅应用现有与输出图像相关联的元数据模式的辅助数据进行发训练。论文所提出的办法进步了模型解决无限和不均衡数据的能力。论文应用蕴含来自 2056 名患者的 33126 张图像的数据集展现了所提出技术的益处。依据 F1 度量、ROC 曲线下面积 (AUC-ROC) 和 PR 曲线下面积 (AUC-PR) 评估所提出技术的性能，并将其与七种不同的基准办法进行比拟，包含最近的两种基于 CNN 的技术。所提出的技术在所有评估指标方面都具备劣势
Real-time parameter inference in reduced-order flame models with heteroscedastic Bayesian neural network ensembles
https://arxiv.org/pdf/2011.02838
Ushnish Sengupta, Maximilian L. Croci, Matthew P. Juniper
从观测数据中预计模型参数的不确定性是迷信和工程中普遍存在的逆问题。这篇论文中提出了一种便宜且易于实现的参数估计技术，该办法应用一种应用锚定集成训练的异方差贝叶斯神经网络，网络的误差模仿了因为咱们逆问题中的参数进化导致的不确定性，而贝叶斯模型不确定性则捕获了输出观测的非散布个性所产生的不确定性。
论文应用该办法对管道预混火焰的 6 参数 g 方程模型进行实时参数推断。用 210 万个模仿火焰视频库来训练网络，在模仿火焰试验数据集上的试验结果表明，该网络复原了火焰模型参数，预测参数与实在参数的相关系数在 0.97 ~ 0.99 之间，不确定度预计精度较高。而后应用训练好的神经网络进行从实验室的高速摄像机捕捉到的预混本生火焰的实在视频中推断模型参数。利用推断的参数对火焰进行了再模仿，结果表明实在火焰与模仿火焰具备良好的一致性。与其余文献中针对这一问题提出的基于集成卡尔曼滤波器的工具相比论文的神经网络集成实现了更好的数据效率，并且亚毫秒推断工夫也节俭了几个数量级的计算成本。
[
https://avoid.overfit.cn/post…](https://avoid.overfit.cn/post…)
作者：momodeep