一、阐明
Fate
是一个工业级联邦学习框架,所谓联邦学习指的就是能够联结多方的数据,独特构建一个模型;
与传统数据应用形式相比,它不须要聚合各方数据搭建 数据仓库 ,联邦学习在联结计算建模的过程中,多方机构之间的数据是不会进行共享的,实现数据的 可用不可见;本文次要分享隐衷计算平台 Fate
的相干基本概念,以及基于 Docker 的单机部署。
二、隐衷计算
隐衷计算
是指在爱护数据自身不对外泄露的前提下实现数据分析计算的技术汇合,实现数据的 可用不可见 的目标;在充沛爱护数据和隐衷平安的前提下,实现数据价值的转化和开释。
图灵奖得主姚期智院士在 1982 年提出的 百万富翁
问题:
假如有两个百万富翁,都想比拟谁更富裕,然而他们都想爱护本人的 隐衷 不违心让对方或者任何第三方晓得本人真正领有多少钱。如何在爱护单方隐衷的状况下,计算出谁更有钱呢?
此问题创始了平安多方计算畛域,在现在以区块链为先导的一系列可信架构中,多方计算问题是建设机器信赖的关键技术之一。
目前实现隐衷计算的支流技术次要分为三大方向:第一类是以 多方平安计算
为代表的基于密码学的隐衷计算技术;第二类是以 联邦学习
为代表的人工智能与隐衷爱护技术交融衍生的技术;第三类是以 可信执行环境
为代表的基于可信硬件的隐衷计算技术。
不同技术往往能够 组合 应用,在保障原始数据平安和隐衷性的同时,实现对数据的计算和剖析工作。
三、联邦学习
在联邦学习当中次要有两种模式:
横向联邦
指的是在联结的多方当中,特色 是雷同的,然而 用户 不一样;那么通过联结呢,就能够在训练模型时 扩大样本数量;
例如:有两家不同地区银行(北京与广州)因为银行间的业务类似,所以数据的特色(字段)大概率是雷同的;然而它们的用户群体别离来自北京与广州的寓居人口,用户的交加绝对较小;这种场景就比拟适宜应用 横向联邦 用于减少模型训练的用户数据 扩大数据量。
纵向联邦
指的是在联结的多方当中,各方的 用户 重叠较多,然而它们的 特色 是不一样的,那么通过联结呢,就能够在训练模型时 扩大特色维度;
例如:同一地区的商场与银行,它们的用户群体很有可能蕴含该地的大部分居民,用户的交加可能较大;因为银行记录的都是用户的收支行为与信用评级,而商场则保有用户的购买历史,因而它们的用户特色交加较小;这种场景就比拟适宜应用 纵向联邦 用于减少模型训练的特色数量 扩大模型能力。
四、Fate
FATE
(Federated AI Technology Enabler)是微众银行人工智能团队自研的寰球首个联邦学习工业级开源框架,它提供一种基于数据隐衷爱护的平安计算框架,为机器学习、深度学习、迁徙学习算法提供强有力的平安计算反对。并内置爱护线性模型,树模型以及神经网络在内的多种机器学习算法。
github 地址:https://github.com/FederatedA…
在 Fate 外面存在以下三种角色:
Guest
为数据的利用方,指的是在理论的建模场景中有业务需要去利用这些数据;并且在纵向算法中,Guest 往往是有标签 y 的一方。
Host
为数据的提供方,通常它只是一个单干的机构负责提供数据来辅助 guest 实现这个建模,只是帮忙晋升训练成果。
Arbiter
为第三方协作者,用来辅助多方实现联结建模的,不提供数据次要是负责发放公钥,加解密,还有聚合模型等性能。
五、部署
5.1. 装置镜像
首先设置环境变量 version
用于前面指定 Fate
的版本,执行以下命令:
export version=1.8.0
应用的是以后最新版本,可按需批改。
镜像有 两种装置 形式,选其一即可;
形式一 如果服务器能拜访公网的话,可间接拉取腾讯云容器镜像:
docker pull federatedai/standalone_fate:${version}
docker tag ccr.ccs.tencentyun.com/federatedai/standalone_fate:${version} federatedai/standalone_fate:${version}
形式二 如果服务器没有公网,则能够通过下载镜像而后导入的形式:
在有网络的机器上下载镜像包:
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate/${version}/release/standalone_fate_docker_image_${version}_release.tar.gz
在指标机器导入镜像:
docker load -i standalone_fate_docker_image_${version}_release.tar.gz
查看已装置的镜像:
docker images | grep federatedai/standalone_fate
5.2. 启动容器
执行以下命令启动:
docker run -d --name standalone_fate -p 8080:8080 federatedai/standalone_fate:${version};
六、测试
Fate 外面自带了测试工作;
首先执行以下命令,进入 Fate 的容器中:
docker exec -it $(docker ps -aqf "name=standalone_fate") bash
执行以下命令,启动 toy 测试:
flow test toy -gid 10000 -hid 10000
胜利后显示以下内容:
success to calculate secure_sum, it is 2000.0
七、图形化界面
FATE Board
是 Fate 外面负责可视化的服务组件,在单机版容器中曾经集成了该服务,能够通过 8080
端口拜访:
账号和明码都是
admin
通过右上角的 JOBS
按钮能够查看咱们 Toy 测试
所运行的工作:
因为是联邦学习所以看到 guest 和 host 两方角色的工作。
扫码关注有惊喜!