随着互联网业务的一直倒退，很多机构都积攒了海量的线上数据，充分利用这些数据，进行相干的数据分析、特色开掘、算法建模是各机构重点倒退的方向。然而在大多数行业与企业中，数据是以孤岛模式存在的，因为行业竞争、隐衷平安、行政手续简单等问题，即便是在同一个公司的不同部门之间实现数据整合也面临着重重阻力，在事实中想要将扩散在各地、各个机构的数据进行整合简直是不可能的，或者说所需的老本是微小的。
另一方面，随着大数据的进一步倒退，器重数据隐衷和平安曾经成为了世界性的趋势。这给人工智能畛域带来了前所未有的挑战，如何在满足平安和监管要求的前提下，设计一个机器学习框架，让人工智能零碎可能更加高效、精确的独特应用各自的数据，是以后人工智能倒退的一个重要课题。
近两年，联邦学习技术 (Federated Learning)的呈现，为跨团队数据单干，突破“数据孤岛”提供了新的解决方案。
联邦学习是一种新兴的人工智能根底技术，在 2016 年由谷歌最先提出，本来用于解决安卓手机终端用户在本地更新模型的问题，其设计指标是在保障大数据交换时的信息安全、爱护终端数据和集体数据隐衷、保障非法合规的前提下，在多参与方或多计算结点之间发展高效率的机器学习。联邦学习可应用的机器学习算法不局限于神经网络，还包含随机森林等重要算法。联邦学习无望成为下一代人工智能协同算法和合作网络的根底。
在这一背景下，京东智联云联邦学习平台应运而生。本篇文章就带大家揭开它的神秘面纱。
一、京东智联云联邦学习平台架构解析
京东智联云联邦学习平台旨在建设一个 基于分布式数据集的联邦学习模型。 在训练过程中，模型信息以加密的模式在各机构间交互，交互过程不会裸露任何机构的隐衷数据，训练好的模型在各个机构间共享。
前不久，凭借在 调度治理能力、数据处理能力、算法实现、成果及性能以及安全性 等方面的杰出体现，京东智联云联邦学习平台顺利通过信通院的「大数据产品能力评测」，被授予联邦学习根底能力专项评测证书，取得业界权威认可。
京东智联云联邦学习平台能够很好地解决各个政企间数据孤岛林立的景象，充沛开释 AI 利用潜能，实现在隐衷数据安全前提下的多方联结建模。（如图 1）
▲图 1 京东智联云联邦学习平台▲
为什么京东智联云联邦数据平台能够具备以上个性呢？
数据的品质和数量决定了机器学习的成果下限。为了让模型（如神经网络）达到更好的成果就可能须要给模型输出更多的数据。而大量的数据须要耗费更多的存储和算力，此时就要依附分布式的办法来为机器学习提供短缺的算力、存储以及正当的任务调度。联邦学习也是如此，从图 2 的京东智联云分布式联邦学习架构咱们能够看出其本质是一种加密的分布式机器学习技术。
▲图 2 京东智联云分布式联邦学习架构▲
京东智联云联邦数据平台能够买通合作方之间的数据孤岛，让多方数据在互相隔离的环境下，建设虚构共有模型，充沛开释 AI 潜能，实现“共同富裕”。
▲图 3 联邦学习利用场景▲
如图 3 所示，京东智联云联邦数据平台能够买通京东自有数据与合作方之间的数据壁垒，在数据互相隔离的环境下进行建模，建设在京东数据赋能下的共有模型，实现利用场景的深度开掘与翻新。
二、京东智联云联邦学习平台次要能力
1，信息加密
京东智联云联邦学习平台由联邦学习客户端和京东智联云网关组成，客户端次要负责数据加密和科学计算工作，京东智联云网关负责把必要的加密的参数在各个参与方的客户端间传输。
客户端以镜像的形式交给各参与方，联邦学习各参与方开发人员无需关怀操作系统版本和开发相干的软件环境，间接加载镜像即可。在镜像内启动联邦学习平台，就能够开始联邦学习训练了。
京东智联云网关次要工作包含：对联邦学习客户端做零碎鉴权、给各参与方传递必要的加密的参数。 为了保障各参与方的网络安全，京东智联云联邦学习平台采纳单向的网络传输策略，即各参与方能够发送网络申请给京东智联云网关，而京东智联云网关无奈发送网络申请给各参与方。有了该策略的反对，企业能够只凋谢网络的上行权限，而敞开上行权限。这无效缓解了某些参与方对网络安全的放心。
同时，京东智联云联邦学习平台反对两种样本对齐形式，别离是联邦加密对齐和 MD5 对齐，联邦加密对齐用 RSA 算法联合随机噪声，帮忙两个参与方找到雷同的用户 ID，保障非共有的 ID 不会透露给对方。
2，联邦算法
京东智联云自研梯度信息爱护，参加训练的各方均在本地更新本人的模型参数，因而能够在加密梯度发送之前，退出足够大的噪声，解密方接管到的是无奈复原的加噪声梯度，而本方能够 通过减去该噪声复原实在梯度，继而进行本方的模型参数更新。这样 的设计充沛爱护本身梯度信息，同时保障了模型精度。
此外，京东智联云联邦学习通过剖析稠密格局数据的存储形式，联合同态加密对加法、数乘运算的反对，奇妙地实现了浓密加密数与稠密数据间的矩阵乘法运算，运行效率只与非零元素个数无关。
京东智联云联邦学习还提供 Logistic regression、XGBoost、DNN 等算法。反对 Pearson、Spearman、WOE(weight of evidence)、IV（Information Value）等特征分析算法，提供了异样值填充、归一化、特色分桶、Count_Encoding、One-Hot 等特色解决工具。
3，基于最新的深度学习框架
京东智联云联邦学习平台不依赖 Spark、Yarn、K8s 等三方框架，整个网络的搭建是基于 Google 全新推出的 Tensorflow2.0 和其高阶 API tf.keras。在双塔网络的根底上，用户能够本人定义每个塔的 DNN 构造。相较于 Tensorflow 1.x，新版 Tensorflow 模型的调试更简略，API 绝对清晰，且 tensorflow 2.x 也会是将来的趋势。
在 FATE 的模型训练过程中，应用的是 Tensorflow 中的 Sequential API，无奈很好地将 bottom 网络和 interactive 网络的计算流畅地串联起来—训练过程中，bottom 网络的前向流传的后果，没有记录在反向流传中。这导致反向京东智联云联邦学习流传时，须要再次进行前向流传。两次地前向流传，一方面会减少运行工夫，另一方面，如果网络中蕴含随机数，很可能产生谬误的后果。而在京东智联云联邦学习平台中，采纳的是 Subclassing API，更具备灵活性，训练过程中只需一次前向流传即可，可无效升高运行工夫和随机数带来的不稳定性。
4，在线预测
针对不同平安要求级别，反对 SaaS 化的 API 接口在线预测、客户端内走联邦实时预测两种计划，前者计算更快，后者更平安。
三、场景案例
目前，京东智联云联邦学习平台曾经宽泛服务于 批发 、 汽车 、 教育 、 风控 等行业。在汽车行业，建模训练 2 周后，模型成果即显著晋升 17%，实现客户转化率与 ROI 双重晋升，驱动企业实现全链路数智化转型。
某汽车品牌多家线下 4S 店通过联邦学习平台平安融合线上线下数据，并利用机器学习技术独特建模；该模型无效预测了到店购车的人群、用户对车型的偏好，同时对每个用户的到店概率及车型偏好进行评分，配合短信与电话触达高潜人群，大幅晋升销售的成单效率以及不同车型的转化率。
在部署方面，京东智联云联邦学习三天内即可实现平台的部署调试工作，一周内即可开始应用。同时反对可视化特征分析，不必手写代码，在页面抉择点击即可实现个性相关性剖析。
举荐浏览：
- 权威报告公布：京东智联云首次参评即跻身机器学习卓越表现者营垒
- 知你所想，推你所愿 | 深度解读展会场景智能举荐搭建之路
- JCS 大数据工程师专项认证
欢送点击【京东智联云】，理解开发者社区
更多精彩技术实际与独家干货解析
欢送关注【京东智联云开发者】公众号