摘要：随着边缘设施数量指数级增长以及设施性能的晋升，边云协同机器学习应运而生，以期买通机器学习的最初一公里。
本文分享自华为云社区《反对边云协同一生学习个性，KubeEdge 子项目 Sedna 0.3.0 版本公布！》，原文作者：技术火炬手。
1、以后机器学习落地挑战
以后机器学习落地有哪些问题？
近二十年来，机器学习已广泛应用于数据挖掘、计算机视觉、自然语言解决、生物特色辨认、搜索引擎、医学诊断、检测信用卡欺诈、证券市场剖析、DNA 序列测序、语音和手写辨认、策略游戏和机器人等畛域。
在理论业务落地过程中，大部分大型云平台提供商均已提供机器学习算力等资源服务，同时反对多种机器学习框架等以提供凋谢灵便的部署环境。然而，机器学习模型所需的数据往往并非从云平台中产生，而是从传感器、手机、网关等边缘设施中产生。数据从边侧产生，而云端需从边侧采集数据以训练和不断完善机器学习模型。在理论落地时，以后机器学习需面对以下问题：
1）海量设施数据导致提早和老本问题
- 假如即便有 100 Mbps 的专网连贯，将 10TB 的数据运送到云端也须要 10 天。
- 面对大量边缘连接设施每天生成数百兆字节甚至 TB 数据，带来的提早和老本对客户和服务提供方来说往往是难以承受的；
2）数据压缩导致的提早和精度问题
- 正因迁徙所有数据通常不切实际，往往须要对数据进行“压缩”(如特色工程、难例辨认等)并传输到云端，而数据压缩过程容易引入新的提早。
- 压缩数据不肯定能齐全代表残缺数据集信息，容易导致精度损失。
3）边侧数据隐衷和计算实时性问题
上述问题的实质起源是 数据在边缘产生，而算力却在云端更为短缺。也就是说，机器学习服务将边缘产生的数据转换为常识的过程中，一方面须要在边缘疾速响应并解决本地产生的数据，另一方面须要云上算力与开发环境的反对。随着边缘设施数量指数级增长以及设施性能的晋升，边云协同机器学习应运而生，以期买通机器学习的最初一公里。
以后边云协同机器学习落地有哪些挑战？
目前边云协同机器学习的经典模式是：在云上给定一个数据集运行机器学习算法构建一个模型，而后将这个模型不作更改利用在多个边侧的屡次推理工作上。这种学习范式称为关闭学习（也称孤立学习 [1]），因为它并未思考其余情景学习到的常识和过来学习到的历史常识。尽管边云协同机器学习技术的相干钻研和利用都有着显著的停顿，然而在老本、性能、平安方面仍有诸多挑战：数据孤岛 / 小样本 / 数据异构 / 资源受限 [2]。
在边缘云背景下，1）不同边侧数据分布总是一直变动，2）而边侧标注样本也往往因为老本较高导致数量稀少。因此关闭学习需不停标注样本并从新训练，这显然给服务落地带来微小挑战。这种数据分布和数据量上的挑战调配称为数据异构和小样本，属于边云协同机器学习的四大挑战。
图 1 热舒服预测服务中机器学习模型随边侧环境变动示意图
本文以一个热舒服预测服务例子介绍相应挑战，如图 1 所示。该服务输出外界温度等环境特色，预测不同人员的热舒服水平（热、舒服、冷）。因为边缘节点部署地位从室外变动到室内，对于雷同室外温度特征值 x =30，能够看到理论标注的热舒服标注产生了较大变动。这原有室外模型上线预测值整体偏低，要匹配到室内模型，则须要训练样本从新调整。也就是说，面对散布动态变化的边缘侧数据，因为没有记忆历史和不同情景工作常识，关闭学习须要频繁从新训练。
以后边云协同机器学习挑战应如何解决？
从下面的探讨能够理解到，以后的关闭学习范式可被用于提供数据同构和大数据的服务，但难以解决数据异构和小样本的问题，所以并不适合用于建设通用的机器学习零碎。伊利诺伊大学芝加哥分校的刘兵传授也在 Frontiers of Computer Science 中总结，关闭学习范式一系列局限性的基本在于没有记忆，这导致它通常须要大量的训练样本。
对应的范式改良能够从人类的学习过程中失去启发。能够看到，人类之所以可能越学越聪慧，是因为每个人并非自我关闭地学习，而是一直地积攒过来学习的常识，并利用其他人的常识，学习更多常识 [1]。借鉴人类这种学习机制，一生学习联合边云协同能够倒退出边云协同一生学习。边云协同一生学习 1）在边侧同时联合了多任务学习和增量学习个性来解决新情景下数据异构和小样本的问题，2）借助云侧知识库来记忆新情景常识，从根本上解决上述边云协同机器学习的挑战。
2、边云协同一生学习概念
基于 1995 年提出的一生学习概念 [3]，Sedna 进一步定义边云协同一生学习为边云协同的多机器学习工作继续学习。其中机器学习工作是指在特定情境下使用的模型，如中译英（给定汉语翻译为英语）、亚洲动物分类等。正式定义如下：
边云协同一生学习：给定云侧知识库中 N 个历史训练任务，推理继续到来的当前任务和将来 M 个边侧工作，并继续更新云侧知识库。其中，M 趋向于无穷大，同时边侧 M 个推理工作不肯定在云侧知识库 N 个历史训练任务当中。
图 2 边云协同一生学习流程示意图
具体来说，边云协同一生学习的个别流程如图 2 所示：
1）初始化知识库：在云侧知识库中存储和保护过来 N 个工作（记为第 T - N 到 T - 1 个工作）中训练并累积的常识。
2）学习当前任务：在边侧设施面对当前任务（记为第 T 个工作）时，基于云侧知识库先验常识训练第 T 个工作。留神，第 T 个工作并不一定在历史的 N 个工作当中。
3）更新知识库：将学习到的边侧第 T 个工作常识反馈到云侧知识库并更新。
4）学习将来工作：继续学习将来 M 个工作（记为第 T + 1 到 T + M 个工作）。与下面第 T 个工作利用过来 N 个工作常识（从 T - N 到 T -1）相似，第 T + 1 个工作的边侧工作常识则利用过来 N + 1 个云侧工作常识（从 T - N 到 T）。以此类推，直到实现第 T + M 个工作，完结整个流程。
边云协同一生学习具备以下三大特点：
1. 边云协同继续学习：可能基于云侧算力和边侧数据单干实现继续推理与训练，可能在推理运行时变得越来越善于模型训练。
2. 以云侧知识库为核心的边侧常识共享：以云侧知识库作为核心，实现跨边的常识共享并解决边侧工作，同时长久化与保护云端常识。
3. 边侧解决云侧未知工作：须要边侧可能发现和解决云端知识库未知工作。其中未知工作是指运行或测试过程中发现的新工作，比方其利用情景或模型在知识库以后常识之外。
3、Sedna 边云协同一生学习个性
KubeEdge 是一个开源的边缘计算平台，它在 Kubernetes 原生的容器编排和调度能力之上，扩大实现了边云协同、计算下沉、海量边缘设施治理、边缘自治等能力。KubeEdge 还将通过插件的模式反对 5G MEC、AI 云边协同等场景，目前在很多畛域都已落地利用 [3]。
KubeEdge AI SIG 于 20 年 12 月公布 KubeEdge 子项目开源平台 Sedna，架构如图 3 所示。Sedna 基于 KubeEdge 提供的边云协同能力，实现 AI 的跨边云协同训练和协同推理能力。反对现有 AI 类利用无缝下沉到边缘，疾速实现跨边云的增量学习，联邦学习，协同推理等能力，最终升高边云协同机器学习服务构建与部署老本、晋升模型性能、爱护数据隐衷等 [2]。
图 3 Sedna 整体架构
在本次 0.3 版本更新中，Sedna 提供了边云协同一生学习的个性反对。Sedna 一生学习个性将基于边侧数据和云侧算力，逐渐实现适应边侧业务与模型异构的高可信自动化人工智能。
Sedna 的边云协同一生学习作业分为三个阶段：训练、评估和部署，保护一个全局可用的知识库（KB）服务于每个一生学习工作。架构如图 4 所示：
1）启动训练 worker 基于开发者的 AI 基模型和训练数据集进行多任务迁徙学习，实现工作的常识演绎，包含：样本属性、AI 模型、模型超参等。
2）训练实现对知识库的更新后启动对评估数据集的评估 worker，基于部署者定义的评估策略判断合乎下发部署的任务模型。
3）GM 捕捉评估工作的实现状态后告诉 Edge 初始化启动 Inference Service 进行推理服务。利用调用模型推理接口进行推理，并进行未知工作上云判断。
4）通过对接第三方打标零碎和基于知识库的迁徙学习，LC 基于预配置规定监听新数据变动并按配置的策略触发训练 worker 进行增量学习，重训练实现后从新下发边缘侧。
图 4 Sedna 边云协同一生学习架构
其中，以后 Sedna 选用的模块化计划和样本迁徙计划使得开源的边云协同一生学习个性可能实现模型无关：1）同一个个性可能同时反对结构化和非结构化不同模型，在个性中模型可插拔；2）同一个个性可能同时反对分类、回归、指标检测、异样检测等。
4、基于 Sedna 一生学习实现楼宇热舒服预测管制
4.1 背景
智能楼宇是智慧城市的重要组成部分
楼宇是大量先进工业产品的“应用方”，引领其制作、运行和保护，在这一波能源反动和工业革命占据重要位置。
现今楼宇都有自控零碎，通常它们都在边缘，这使得很多对于楼宇的利用更偏向于部署在边缘侧，其中一类利用是热舒适度预测。因为人们 80% 的工作和生存都在楼宇中度过，进步工作效率和生存舒适度（如通过楼宇智能化等形式）就显得尤为重要。
热舒适度预测服务于智能楼宇
热舒适度被定义为楼宇中的人对环境冷热的称心水平。它提供了一种定量的评估，把室内冷热环境参数的设定与人的主观评估分割起来。而进步楼宇中办公或者寓居人员的热舒服水平是修建及其零碎设计方案中的一个重要考量。在空调零碎运作时，一旦热舒适度被预测进去，那么就能将其用于调整楼宇内空调的控制策略。比方说，一种基于热舒适度的控制策略，是基于假设的空调参数设定以及温湿度等环境特色下，给出预计的人体热舒服水平。而后搜寻寻优出舒适度最高的空调设定。所以，这种状况下要实现舒适度最大的空调管制就依赖于较高精度的舒适度预测。
原有热舒适度的预测要么须要房间中装置额定设施，要么须要人工反馈。部署环境简单、人工操作频繁使得这种状况下热舒适度的采集准确度非常低。据此，基于机器学习的热舒适度预测办法被提出，它能升高部署要求、不须要人工反馈，因此更具备实用价值。
热舒适度预测服务理论部署时数据异构和小样本问题较为突出
因为人员个体差异、房间与城市差别等，不同个体、不同地点对于热舒服的感触是不一样的，那么就会导致雷同的环境温度和空调设定下对应的人员的热舒适度标签值不一样，从而导致较为突出的数据异构问题。
热舒适度预测次要针对楼宇中的房间人员个体，具备个性化的特点。在环境因素变动较多的状况下，边侧房间人员个体的热舒适度样本通常无限，往往不足以撑持对单个人员进行个性化模型的训练，从而导致较为突出的小样本问题。
除了小样本问题之外，增量学习也可能肯定水平解决历史与以后情景的数据异构（工夫上的数据异构）。但这种边云协同增量学习范式通常不具备用于记忆的知识库，导致很难解决非工夫上的数据异构。比方说，对于有多个人员的房间，在同一时刻会存在不同人员上的数据异构。因为这种状况就不仅仅是同一个人不同工夫上的数据异构了，增量学习变得不太足够。此时就须要应用边云协同一生学习了。
4.2 计划
图 5 边云协同一生学习的热舒服预测计划架构
如图 5 所示，边云协同一生学习的热舒服预测计划次要有如下两个步骤：
创立舒适度预测一生学习工作
舒适度预测一生学习工作被创立后，Sedna 知识库中会生成舒适度预测的知识库实例，知识库会利用多地点多人员的历史数据集进行初始化，并提供推理和更新接口给边侧利用。
部署边云协同舒适度预测利用
舒适度预测利用被部署后，利用会通过边侧的设施数据采集接口获取到多联机空调零碎的设定参数和以后温湿度等环境特色信息。利用通过调用 Sedna Lib 库一生学习接口，从知识库中寻找对应的工作信息：
如果被断定为已知工作，比如说是曾经呈现过的人员在已知的温湿度条件下，则间接获取对应模型进行推理；
如果被断定为未知工作，比如说是新来的人员，则通过知识库来获取针对未知工作的模型进行推理。并且会将这些模型和模型之间关系写入到知识库中，以实现知识库的更新操作，使得知识库失去积攒。
4.3 成果
本案例中的计划在开源 Ashrae Thermal Comfort II 数据集上可获得十分好的成果。在这个开源数据集中，收录了寰球 28 个国家 99 个城市 1995~2015 年之间楼宇内人员热舒服实在数据，指标是构建一个机器学习分类模型，给定环境特色，预测人群的热偏向（Thermal Preference）。热偏向分为三类，心愿更冷（感觉热）、不心愿变更（感觉舒服）、心愿更热（感觉冷）。
案例后果如图 6 和图 7 所示，整体分类精度与单任务增量学习比照，绝对晋升 5.12%（其中多任务晋升 1.16%）。其中，在 Kota Kinabalu 和 Athens 两个工作，在应用一生学习前后预测成果在 Kota Kinabalu 数据中预测率绝对晋升 24.04%，在 Athens 数据中预测率绝对晋升 13.73%。
图 6 ATCII 各城市 Sedna 一生学习预测精度比照
图 7 ATCII 各城市 Sedna 一生学习预测精度绝对晋升
5、Sedna 一生学习个性下一步打算
- 一生学习算法加强：
多任务迁徙学习算法
未知工作辨认算法
未知工作解决算法 - 分布式知识库
- 平安隐衷加强
6、附：KubeEdge SIG AI 社区技术交换地址
欢送更多对边缘计算感兴趣的同学们退出 KubeEdge 社区，参加 AI SIG，一起建设云原生边缘计算生态
相干链接
我的项目地址：https://github.com/kubeedge/s…
例会工夫和地址：
工夫：每周四上午 10: 00
地址：https://zoom.us/my/kubeedge
SIG AI 工作指标和运作形式：https://github.com/kubeedge/c…
7、援用
[1] B. Liu, Lifelong machine learning: a paradigm for continuous learning., Frontiers of Computer Science. 11, no. 3 (2017): 359-361., 2017.
[2]“减速 AI 边云协同翻新！KubeEdge 社区建设 Sedna 子项目,”29 1 2021. [联机]. Available: https://mp.weixin.qq.com/s/FX…
[3]“KubeEdge 架构解读：云原生的边缘计算平台,”20 10 2020. [联机]. Available: https://mp.weixin.qq.com/s/8A…
[4]“kubeedge/Sedna,”30 3 2021. [联机]. Available: https://github.com/kubeedge/s…
点击关注，第一工夫理解华为云陈腐技术~