共计 960 个字符，预计需要花费 3 分钟才能阅读完成。
为了进步机器学习应用程序的效率和品质，工业规模机器学习模型一直减少的复杂性刺激了对主动超参数调整办法的钻研，只管主动超参数调整现是许多数据系统的重要组成部分，但最先进办法的无限可扩展性已成为瓶颈。
为了解决这个问题，北京大学、苏黎世联邦理工学院和快手科技的钻研团队提出了 Hyper-Tune，这是一种高效、强壮的分布式超参数调优框架，具备主动资源分配、异步调度和多保真优化器等系统优化插件。在评估中，Hyper-Tune 在宽泛的调优工作中实现了最先进的性能。
论文将他们的次要奉献总结为：
- 咱们提出了 Hyper-Tune，一种高效的分布式主动超参数调整框架。
- 咱们对公开可用的基准数据集和生产中的大规模真实世界数据集进行了宽泛的实证评估。
Hyper-Tune 框架蕴含三个外围组件：资源分配器、评估调度器和通用优化器。
为了主动确定适当的资源分配程度并均衡局部评估中的“精度与老本”衡量，钻研人员应用了一种简略而新鲜的资源分配办法，通过重复试验来寻找良好的调配。
评估调度程序能够通过 D-ASHA 来利用并行资源——这是 Li at 引入的 ASHA（Asynchronous Successive Halving Algorithm)）超参数优化算法的一种新的变体，能够同时满足同步效率和采样效率。
采纳了模块化设计，能够应用不同的超参数调整优化器插件，这样能够反对在异步 / 同步并行设置下间接替换不同的优化器。他们还采纳了与算法无关的采样框架，以使每个优化器算法可能轻松适应异步并行场景。
通过公开可用的基准数据集和大规模真实世界数据集的评估试验，Hyper-Tune 框架实现了弱小的随时收敛性能，并在超参数调整场景中超过了最先进的办法，其中包含具备九个超参数的 XGBoost，六个超参数的 ResNet，九个超参数的 LSTM。与最先进的办法 BOHB 和 A-BOHB 相比，Hyper-Tune 还别离实现了高达 11.2 倍和 5.1 倍的减速。
https://www.overfit.cn/post/3b73253b1ff9412d8326fc1154d6c558
论文 Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale 能够在 arXiv 上下载
https://arxiv.org/abs/2201.06834