内容起源：华为开发者大会 2021 HMS Core 6 AI 技术论坛，主题演讲《MindSpore 联邦学习框架解决隐衷合规下的数据孤岛问题》。
演讲嘉宾：华为 MindSpore 联邦学习工程师
大家都晓得，人工智能的倒退离不开宽泛的数据撑持。数据是根底，也是要害。但行业中小规模、碎片化，亦是大规模、高质量的数据都很难获取，波及到工程、监管和隐衷合规多方面的问题。这也就导致人工智能产业面临数据孤岛挑战，比方企业取得用户数据越来越难、企业内不同部门数据难单干、同行业企业数据难以共享、跨行业数据难以施展价值等。
联邦学习：突破数据孤岛，建设新一代的技术生态
面对数据孤岛，人工智能应该怎么倒退呢？联邦学习是一个可能确保数据隐衷合规及模型性能的无效解决方案。
联邦学习最早由谷歌在 2016 年提出，一方面它是一个机器学习框架，可能无效帮忙多个机构在满足用户隐衷爱护、数据安全和政府法规的要求下，进行数据应用和机器学习建模。另一方面，联邦学习也是一种商业模式，更像是“共同富裕”的策略，可能带动跨畛域的企业级数据单干，催生基于联结建模的新业态、新模式。
个别业内将联邦学习分为横向联邦学习、纵向联邦学习和联邦迁徙学习三种 。横向联邦学习实用于用户重叠较少，数据特色重叠较多的场景，比方谷歌最早利用在智能手机输入法联结建模上；纵向联邦学习实用于用户重叠较多，数据特色重叠较少的场景，比方一些业务垂直性强的行业；对于用户重叠和数据特色重叠都比拟少的场景，咱们则能够采纳联邦迁徙学习来建模。
那么，联邦学习在落地企业级利用时，个别会遇到哪些挑战呢？
首先是隐衷平安 。以后联邦学习还存在较多的安全隐患，例如投毒攻打、反抗攻打以及隐衷泄露等。
其次是模型准确性 。在平安业务下的样本不平衡、短少数据标签等问题，会导致联邦聚合的成果不现实。另外，主动驾驶、医疗等行业的利用对模型精度也提出了更高的要求。
再次是通信效率 。当面临千万级大规模异构终端部署时，须要应答网络不稳固、负载渐变等简单场景。大量本地模型更新的上传会对通信网络造成微小的带宽累赘。压缩算法尽管可能显著升高通信数据大小，但会重大影响模型精度。通信效率和模型精度之间的均衡成为较大挑战。
MindSpore 联邦学习框架：端云协同，全场景对立架构
2021 年 6 月，联邦学习框架开源。MindSpore 联邦学习框架专一于横向联邦学习，反对千万级大规模异构终端部署场景，提供高性能、高可用的分布式联邦聚合计算。在隐衷平安方面，数据不出设施，就能够实现本地训练。模型参数上传之前，咱们还会提供多方平安计算，进行加密。在联邦效率晋升方面，咱们提供同步和异步两种联邦模式。此外，MindSpore 联邦学习框架灵便易用，一行代码就能够切换单机训练与联邦学习模式。上面，我将从三个维度具体介绍 MindSpore 联邦学习框架的核心技术——
1、平安算法加强隐衷爱护 。传统联邦学习框架尽管数据不出端，但模型明文共享仍存在隐衷泄露危险。MindSpore 联邦学习框架反对基于多方平安计算和差分隐衷的高效联邦平安聚合，加强了隐衷爱护能力。目前，这两种算法各有劣势，开发者能够联合具体的利用场景抉择。
2、混合联邦训练计划晋升准确性 。在理论利用场景中，用户数据在客户端设施上往往没有标签，影响最终模型训练的准确性。对此，咱们提供一种混合联邦训练计划，分为横向半监督学习和细粒度参数合成两种。前者将无监督学习、有监督学习联合横向联邦学习，在爱护用户隐衷的同时解决端侧没有标签数据的痛点；后者则依据模型和优化器的参数性能和规模，将参数分解成不同局部，再对其应用不同的传递和训练策略及办法，缩小通信开销大的问题。
3、限时通信安装解决长尾效应 。在大规模并行的场景下，跨设施联邦学习的客户端数量泛滥且高度不牢靠，因而每个训练迭代存在客户端响应不及时甚至“落伍”而导致的长尾效应，继而影响联邦学习整体训练性能。对此，咱们提供限时通信安装。在每轮训练迭代中减少计时安装，保障计时工夫窗口内的申请能够被失常解决，打消长尾效应，缩小等待时间，晋升训练效率。另外，工夫窗口能够依据理论状况进行动静调整。
MindSpore 联邦学习框架的两个利用场景
MindSpore 联邦学习框架实用于终端广告的个性化举荐场景 。传统的广告场景会面临许多问题与挑战，比方用户画像上，云侧无奈获取手机端更丰盛的特色；隐衷合耦上，因为 GDPR 等法案对用户数据的管控，数据无奈上传至地方服务器，导致传统链路无奈买通；举荐效率上，从广告申请到最终广告展现须要通过诸多环节，这须要弱小的工程架构来进步服务的时效性和稳定性。
MindSpore 端云协同计划中的 Cross-Device 联邦学习框架能够突破用户与广告平台的数据壁垒，数据不必上云亦可实现联结建模。同时，咱们通过小样本学习算法，充分利用端上用户特色数据及资源优化 PCVR 预估模型，进步广告转化率。在隐衷合规的前提下，咱们还反对端云协同的联结建模，以实现用户标签开掘；在广告定向根底上于端侧进行二次举荐，进步广告转化成果。
MindSpore 联邦学习框架实用于企业采集并上传大量图片、视频数据的场景 。假如某公司的城市管廊我的项目，须要在站点上部署一些摄像头，用来做安全监控。传统形式是摄像头采集的视频数据上传到分控核心，分控核心做完数据预处理后，再传至总控核心。这一过程可能会呈现两个问题：大量的数据上传会造成很大的带宽开销，老本也随之进步；数据中往往蕴含人脸和车辆等敏感信息，存在数据泄露的危险。
如何解决问题呢？MindSpore 端云协同计划的 Cross-silo 联邦学习框架能够在每个站点做本地模型训练和推理，既能保障用户数据安全，还能管制带宽老本。
最初，心愿开发者们能够继续关注 MindSpore 联邦学习框架，和咱们一起构建联邦学习的生态技术，谢谢！
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee
关注咱们，第一工夫理解 HMS Core 最新技术资讯~