在人工智能畛域，算法工程师在训练神经网络模型的过程中，实现网络构建和筹备好训练数据后，往往须要对模型进行各种参数优化，以取得更好的模型成果。但调参其实并不简略，背地往往是通宵达旦的参数调试与成果验证，并须要做大量的试验，不仅耗时也消耗大量算力。
这个时候，往往想尝试主动超参搜寻，但又开始放心算力要求所带来的额定训练老本。
莫慌！百度全功能AI开发平台BML带着收费算力额度与主动超参搜寻能力来了！
先来介绍百度最近全新降级的BML，何方神圣？
全功能AI开发平台BML(Baidu Machine Learning) ，是为企业和集体开发者提供机器学习和深度学习一站式AI开发服务，并提供高性价比的算力资源，助力企业疾速构建高精度AI利用。BML提供了从数据采集、数据荡涤、数据标注、智能标注与多人标注、模型训练生产到模型治理、云端及离线推理服务治理等AI开发过程的全生命周期治理性能。
BML内置百度超大规模预训练模型，只需大量数据即可取得高精度模型成果。目前，BML曾经反对脚本调参、Notebook与自定义作业这三种开发建模形式，灵便匹配企业开发者的开发习惯。
在目前的脚本调参应用流程中，BML曾经预设了模型超参数，但因为用户数据集内容丰盛多样，预设的超参数很难在所有的数据集上失去很好的训练成果。用户能够自行调整超参数，然而手动调参非常消耗人力。为了加重用户在调参上的精力投入, BML的研发大佬们日夜奋战，为用户上线了主动超参搜寻的性能，帮忙用户主动搜寻成果较优的超参组合，省去调参的懊恼。
话不多说，进入本次正题，百度BML的主动超参搜寻技术有哪些亮点？
提供多种搜索算法
所谓“超参”，有别于模型网络结构外部各层的参数，是指须要人为调整，通过人为教训设置来进步模型成果的参数，常见的超参包含学习率(learning_rate)、批样本数量(batch_size)等。在超参搜寻的过程中，因为模型简单、计算成本很高，且每个超参数都有较大的取值范畴，导致搜寻空间非常宏大，因而咱们须要有“主动”超参搜寻。
主动超参搜寻相比于人工调参，次要是省去了人工察看试验后果并调整参数再试验的过程，主动超参搜寻把这个步骤用各种搜索算法来代替。
BML提供的搜索算法有：
1. 随机搜寻
顾名思义是在参数变量的变动区间中随机采样参数组合成候选集，利用候选集进行训练和成果比照。随机搜寻是普适的效率较高的搜寻办法，通常作为基线规范，实用于对效率要求较高的状况，但不能保障肯定能搜寻到最佳的超参。
2. 贝叶斯搜寻
在搜寻空间中随机选取初始超参数点，而后依据已有超参对应的指标后果拟合概率模型，通过概率模型揣测最佳超参点，接着再试验失去这些超参点的后果。如此重复优化，再无限试验次数中搜寻出适合的超参数。基于模型的序贯优化办法(SMBO, Sequential Model-Based Optimization)是贝叶斯搜寻的一种范式，包含两个局部: 代理模型(surrogate model) 和 采集函数(acquisition function)。依据代理模型和采集函数的不同，贝叶斯搜寻办法也有许多实现模式，其中TPE(Tree-structured Parzen Estimator)是一种全局摸索能力较佳的办法，采纳核密度估计办法(KDE, Kernel Density Estimation)生成代理模型，采纳EI(Expected Improvement)作为其采集函数生成新采样点。
3. 进化算法
进化算法是一种基于种群概念的超参搜寻策略，把超参配置视为一个种群，并行优化多个种群并在种群外部进行优胜劣汰的筛选，最终输入最佳模型。这个过程（如下图所示）是从遗传算法取得的灵感，种群的初始化采纳随机的形式生成，个体的优胜劣汰具体指利用(exploit)和摸索(explore)两个步骤，不仅可能会从体现较好的个体中复制参数，它还能通过随机扰动修改以后的值而摸索新的超参数组合。
图片起源：https://arxiv.org/pdf/1711.09846v1.pdf
百度翻新提出了随机微分方程无梯度优化算法PSHE2，采纳哈密尔顿动力系统搜寻参数空间中“势能”最低的点以代替随机扰动，减速迭代收敛。超参搜寻过程中想要求得最优解就是要找到更新超参数组合的办法，即如何更新超参数，能力让算法更快更好的收敛到最优解。PSHE2算法依据超参数自身历史的最优，在肯定随机扰动的状况下决定下一步的更新方向。过程如图所示。
图片起源：https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md
办法
网格搜寻
随机搜寻
贝叶斯搜寻
进化算法
长处
实现简略，成果取决于用户设置网格距离大小
多参数联结搜寻时，增大了每个参数的搜寻范畴，进步搜寻效率。
搜寻迭代次数少，效率高，借助已有采样点通过贝叶斯预计最佳超参。
升高每轮迭代训练工夫，将计算资源集中于参数搜寻上，通过复用历史体现好的个体的预训练参数来放慢收敛
缺点
耗费计算资源
成果不稳固
可能陷入部分最优
如果超参导致模型构造变动等因素导致不能加载预训练参数时则不实用
主动超参搜寻办法比拟
上表演绎了一下这些搜寻办法的优缺点。总之，网格搜寻和随机搜寻实现上比较简单，不利用先验常识抉择下一组超参数，其中随机搜寻效率绝对较高。贝叶斯搜寻和进化算法须要用前一轮的信息进行迭代搜寻，搜寻效率显著晋升。
BML主动超参搜寻的实现：零碎架构
BML主动超参搜寻性能基于百度自研主动超参搜寻服务，服务运行过程如下图所示，依附百度智能云CCE算力，反对多主动搜寻工作并发。为了提供一个“好用”的主动超参搜寻服务，架构实现时在并发搜寻效率晋升和零碎容错方面着重进行了思考。
一次超参搜寻工作蕴含以下流程：
- 业务平台把超参搜寻工作的用户配置信息提交到超参搜寻服务，会创立一次搜寻试验(Experiment)，并记录到db中。
- 搜寻服务把工作提交到Experiment controller, 由controller初始化创立Trial治理模块，并负责Experiment生命周期的治理。
- Trial是具体的训练试验，一个Experiment会产生多个Trial来摸索不同超参数组合的最终成果。Tuner是超参生成的模块，会依据抉择的超参搜索算法，举荐下一个Trial所应用的超参值。在Trial治理模块中，Exp Manager会负责生成若干Trial, 向Tuner申请具体的试验超参数，并向Trial Scheduler发送Trial工作信息。
- Trial Scheduler会与底层资源交互理论启动Trial。Trial Scheduler会治理所有Trial的生命周期。
- 每个Trial运行实现后，会向Exp Manager汇报指标等信息，用于汇报给tuner并记录到db。
BML主动超参搜寻次要有以下个性：
1、简略易用：相比于同类产品的简单配置，BML在为用户提供必须的凋谢配置项的前提下，尽可能减少超参配置的繁琐水平，但凡能够自动化的工作均不对用户可见。
2、模型丰盛：与脚本调参上提供的丰盛的模型买通，能够间接配置化实现相应工作的搜寻，甚至不必写代码！
3、容错机制：主动超参搜寻工作具备模型训练次数多、工作整体运行工夫长的特点，受显存资源限度，有些搜寻出的超参数无奈胜利运行。兼顾搜寻成果和可用产出，增设模型训练失败次数阈值，把Experiment和Trial这样多任务的简单状态治理分拆到各层模块中，尽可能为用户提供搜寻出的可用后果。
4、反对早停与采样：搜寻框架外部反对主动早停，当达到设定的预期后果时即可主动进行；同时也反对在界面上手动提前进行，缩小用户的等待时间，防止不必要的算力耗费。反对用户抉择大数据集时主动进行采样，缩小超参搜寻训练耗时，以尽快搜寻出适合的超参为上。
5、高效分布式智能搜寻：深度学习模型的训练工夫往往较长，对于大规模数据集或者简单模型的搜寻工作，单机串行的搜寻形式简直不可用。咱们留神到有的搜索算法中每次试验是能够独立进行训练的（如网格搜寻、随机搜寻），能够间接对所有试验并行化；有的搜索算法尽管实质基于迭代，但每个迭代中的试验运行依然是互相独立的，因而咱们能够在迭代外部进行并行化搜寻。BML外部实现了智能调度零碎，依据不同的算法类型，采纳不同的并发策略，能够大幅度降低整体搜寻工夫。
上手实操：主动超参搜寻应用攻略
- 首先点击 https://ai.baidu.com/bml/app/project/script/list 创立一个脚本调参我的项目，如果曾经有我的项目了，间接用就能够！目前反对超参搜寻的我的项目类型有图像分类（单标签和多标签）及物体检测，创立对应类型的我的项目就能够了
- 在我的项目里新建工作，配置好工作的网络、数据、脚本之后，就能够看到“配置超参数”的选项了。这里如果曾经有超参搜寻的后果，能够间接勾选“已有超参搜寻后果”来应用，如果第一次应用还没有，就间接抉择“主动超参搜寻”。
- 目前BML反对了三种超参搜索算法，如图，别离是贝叶斯搜寻、随机搜寻和进化算法，能够依据本人须要抉择一种来搜寻。具体配置项阐明能够参考技术文档。
3.1 贝叶斯搜寻的参数阐明
【初始点数量】代表贝叶斯搜寻中，初始化时参数点的数量，该算法基于这些参数信息揣测最长处 ，填写范畴1-20。
【最大并发量】贝叶斯搜寻中，同时进行试验的数量，并发量越大，搜寻效率越高，填写范畴1-20。不过这个并发量也会受限于页面最下方抉择的GPU数量，理论并发量是二者的较小值。
【超参范畴设置】：能够是默认配置，也能够手动配置。默认的话百度的工程师们曾经帮咱们对不同网络、GPU卡型设置了一个根本靠谱的搜寻范畴，间接用就能够。当然也能够手动配置，能够自定义各个超参的范畴，能够看到物体检测反对以下这些超参自定义搜寻范畴：
【最大搜寻次数】：是指最多组合出多少组超参并跑试验，当然有可能会因为提前达到目标而进行，节约费用。
【数据采样比例】：应用超参搜寻时，会对原始数据集进行采样后再训练，放慢搜寻速度。当数据集并不大时，不举荐采样哟，可能会影响最终成果，只有大数据量时才有应用采样的必要。
【最高mAP/最高准确率】：是指大家冀望模型成果能够达到的mAP（物体检测）或准确率（图像分类）的值，当试验中达到这个值了搜寻就会进行，防止后续节约搜寻工夫。
3.2 随机搜寻参数阐明
随机搜寻最简略啦，就不须要再额定配置算法相干的参数了，其它专用的选项和贝叶斯搜寻的含意是一样的，参考贝叶斯搜寻即可。
3.3 进化算法参数阐明
进化算法是一种成果较好的算法，利用此算法时也须要进行较多的选项设置：
【迭代轮数】:进化算法运行中迭代的轮数，范畴5-50。
【扰动距离】:进化算法每隔几个epoch就会进行随机扰动，利用随机因素避免算法后果收敛于部分最优解。
【扰动比例】：相似于染色体穿插的模式，迭代中一个种群内最好与最坏的个体根据扰动比例进行穿插。
【随机初始化概率】：在扰动中，有肯定概率对个体的超参数进行初始化。
【种群个体数量】：一个个体代表一种超参数设置，一个种群中蕴含多个个体。
其它选项和贝叶斯搜寻的含意统一，也不反复了。进化算法的配置须要对算法的原理有肯定的理解，如果对算法不明确的，就间接用百度给的默认值吧！
- 超参的选项设置实现了，最初抉择GPU卡类型和数量，以及最大搜寻工夫，就能够提交工作啦！这里默认的搜寻工夫是24小时，毕竟超参搜寻会运行屡次试验，工夫会比拟长，须要急躁期待，当然如果选的GPU卡数越多，并发试验数就越高，从提交工作到搜寻实现的耗时就会变少，这是不言而喻的
- 工作提交之后，过一会当工作进入“超参搜寻中”的状态时，就能够看到各个试验的进度了，包含各个试验的状态、日志和准确率（mAP）
- 超参搜寻训练实现后，成果最优的5次试验能够看到具体的评估后果，也能用于后续的成果校验和公布。当然，如果在超参搜寻时对数据进行了采样，这时候能够从新发动一次训练任务，用这次搜寻进去成果称心的超参数进行全量数据训练，从而取得残缺数据的模型成果
成果才是硬道理：超参搜寻成果晋升高达20%+
咱们比照了图像分类、物体检测、实例宰割等工作在应用一般脚本调参和超参搜寻的成果状况，以下是5个不同数据集在BML平台上别离应用默认脚本调参参数、超参搜寻应用进化算法、超参搜寻应用贝叶斯搜索算法的成果比照。图中右边纵轴为模型的准确率，左边纵轴为超参搜索算法在成果上晋升的比例。能够看到在不同数据集上应用超参搜寻后成果均有晋升，在默认参数精度曾经超过85%的状况下，应用超参搜寻仍能晋升约5%，在默认参数成果较差的状况下，超参搜寻的晋升成果更为显著，可高达22%。
在惯例操作下，可用的深度学习主动超参搜寻因为须要集群计算资源，往往被认为只有大公司能力配置，一般开发者难以上手尝试。通过应用百度全功能AI开发平台BML，估算无限也有机会用上主动超参搜寻，开发效率霎时搭上火箭速度，解脱人力“炼丹”的解放。BML新用户当初还提供100小时收费P4显卡算力，羊毛在向你招手，快来薅一把！
BML官网：https://ai.baidu.com/bml/