作者：修玉同(音弦)

MNN 工作台是阿里淘系端智能团队构建并对外收费凋谢的一站式端侧 AI 研发平台，它基于已开源的 MNN 深度学习端侧推理引擎（开源地址：https://github.com/alibaba/MNN），内嵌模型工具、单机预训练模版、开箱即用算法集、端侧真机断点调试以及独创的三端一体部署计划等一系列能力。自对外开放以来，MNN 工作台始终致力于解决 升高对 AI 感兴趣的开发者们的参加门槛 和 晋升算法与工程之间合作效率 两个端侧 AI 倒退的外围问题，深受宽广端侧开发者的好评。

但在好评之余，MNN 工作台团队仍在继续思考：在让迭代变得更加高效、部署验证更加连贯、模型生产更加简略 这几点上，咱们真的做到极致了吗？在面向不同分层的开发者时，咱们真的解决了他们所有的外围诉求吗？

因而在和不同团队与开发者沟通交流后，咱们将眼光聚焦在了两大方面：

1. MNN 工作台的部署调试体验十分晦涩，然而不足杀手锏级别的训练能力，这会导致训练 – 部署的整体流程产生割裂；
2. 算法逐步产生简单、多任务、多模型合作的趋势，如何针对这一问题提供更无效的解决方案，也是一个亟需攻克的难点。

构建弱小业余的训练能力

MNN 工作台提供了开箱即用的算法模型市场以及内置的多项预训练模版，面向开发者提供极致简略的模型生产方式，这从肯定水平上为端侧 AI 场景的遍及打下了根底。然而随着越来越多专业级算法用户的退出应用，MNN 工作台现有的训练能力也裸露了诸多弊病：

图 1 – 过来的一站式工作流

• 模型市场 / 预训练模版面向的是简略通用的场景，仅对外裸露了非常少的模型参数，无奈依照业余算法的诉求进行个性化批改和定制；
• MNN 工作台先前的训练流程都是基于 MNN 训练机制运行在繁多设施上，这从肯定水平上限度了数据集与训练参数，导致最终的模型成果无奈满足简单业务场景下的高质量要求。

基于此，在 MNN 工作台中嵌入专业级的训练能力交融成为推训一体的残缺工作流火烧眉毛。思考到训练须要大规模的集群资源及调度治理能力，咱们抉择和阿里云 PAI-DLC 团队单干，借力其弱小的云端基础设施打造符合于端侧 AI 研发流程的训练能力。在整个施行过程中，MNN 工作台并不是简略的将云端训练概念照搬以及 API 联调，而是联合本身洞察到的端侧部署验证遇到的痛点，从用户视角登程进行的链路设计：

图 2 – 基于 PAI-DLC 的推理训练一体化工作流

• PAI-DLC 是一个独立的训练集群，训练过程波及的代码须要通过 Git 提交，数据、样本及模型等还须要通过 NAS / OSS 提供，这些环节都须要人为的进行配置，配置老本较高。因而 MNN 工作台整体串联了相干零碎，仅须要用户简略点击几下鼠标，相干数据集等就会主动同步对应的地位，再配合相干自动化脚本帮助用户实现繁琐重复性的工作；
• 模型产出到部署到终端设备上还有肯定间隔。千万别小看这最初一公里，传统的端侧算法部署流程须要工程团队的染指反对，相干参数成果调整还须要一直沟通联调，耗费算法急躁和精力。而利用 MNN 工作台三端一体的个性，算法同学一键下载对应的模型文件、编写简短几行代码就能够实现真机成果验证，真正做到一站式训练部署的顺滑体验；
• 针对端侧模型轻量化的特点，咱们也在流程中融入了 MNN 量化稠密算法能力，让算法能够高效比照不同模型参数计算量下的成果。

图 3 – 推理训练一体化工作流演示

性能精进：多窗口、联结调试与 Git Flow

随着推训一体工作流的逐步完善，一个全新的问题也随之浮出水面：云端训练的耗时简短，为了节约工夫如何同时训练多个模型？

在此之前，工作台仅反对单窗口“独占”的运行模式，即用户同一时刻只有一个工程可能享受到一站式工作的“红利”，为了操作其余工程，用户只能从以后工程切出，这像极了智能机之前的“老年机”交互，给用户带来了很大不便。此外，一些简单的端计算场景也须要对多个工程进行联动开发和调试，将工作台革新为反对多开势在必行。

因而自推训一体平台萌芽之际，咱们就开始了对工作台多开能力的革新，最终咱们实现了工作台底层过程模型和 IPC 模型的革新，并在端侧 DebugSDK 反对了一对多连贯的能力，让工作台实现了从“老年机”到“智能机”时代的逾越：

图 4 – MNN 工作台多窗口架构

工作台进入“智能机”时代为端侧的算法研发带来了更多可能，自此之后你不用再为应用其余性能要关掉以后工程而苦恼了：当初你能够同时关上多个工程，同时开发和提交多份训练代码，在同一台手机上调试多个端计算工程，在开发的同时应用模型工具等等：

图 5 – MNN 工作台多任务联结调试

图 6 – 利用多窗口能力同时拜访多个模型工具

工作台从单窗口变成多窗口意味着用户须要治理的工程变多了，为了防止凌乱，全链路的所有操作最好可能齐全在其对应的工作台窗口中实现，通过梳理细节咱们发现 无论端计算公布还是近程训练都少不了基于 Git 的代码公布流程，如果工作台不能反对齐备的 Git 操作那么整个工作流仍然是割裂的 ， 因而咱们在工作台中移植了可视化的 Git Flow，它反对通过 Diff Editor 查看变更，可视化编辑 Git 工作区，通过命令菜单执行 Pull / Push / Stash 等操作，通过 Git 组件你能够轻松实现代码检查和公布。推训一体平台配合 Git Flow 真正意义上实现了端侧算法工程全链路工作都在同一个工作区实现：

图 7 – 通过 Git Flow 组件进行可视化版本控制

最佳实际

基于推训一体工作流和工作台欠缺的集成开发环境，咱们能够疾速实现从 0 到 1 的端侧算法工程构建，首先咱们须要创立一个 PAI 训练工程，编写好训练代码，进行本地训练验证：

图 8 – 应用本地环境运行训练工程

本地验证无误后，咱们能够一键推送到云端 PAI-DLC 容器中进行训练，训练完结后可一键将训练产物拉回本地：

图 9 – 云端训练和训练产物下载

云端训练产物往往要通过诸如转换、量化等模型工具的解决能力在端侧应用，借助于工作台多窗口能力你能够间接在模型上右键关上任意多个模型工具进行高效的模型解决：

图 10 – 一键执行多种模型工具

最初，咱们能够切换到三端一体的端侧开发部署环境进行验证，如果在验证过程中遇到问题咱们能够无缝切换回训练工程反复后面的步骤：

图 11 – 端侧部署与调试

推训一体工作流较为残缺的解决了端侧算法训练与部署割裂的问题，其中训练局部通过端云联合的伎俩让开发者无需感知端和云的差别，推理验证局部借助三端一体和工作台弱小的调试能力让算法能够在端侧独立进行调试和部署。目前这些能力均已凋谢，你能够在 https://www.mnn.zone 下载 1.6.0 及当前版本的 MNN 工作台进行体验，推训一体的操作形式可参考 MNN 工作台推训一体平台操作手册。

结语

在过来这半年，MNN 工作台始终秉持「解决用户真正的需要」的理念，一直与工程、算法同学深刻交换，沟通其在端侧 AI 研发中遇到的种种问题。从调试、真机验证到实时性能评测，一系列性能的推出都展示了咱们在解决端侧 AI 研发全链路问题上的信心和能力。而随着集成专业级训练能力的 MNN 工作台版本公布，置信会给大家带来更好的应用体验。

关注【阿里巴巴挪动技术】微信公众号，每周 3 篇挪动技术实际 & 干货给你思考！