【摘要】 海量训练数据是人工智能技术在各个领域胜利利用的重要条件。例如，计算机视觉和商务经融举荐零碎中的 AI 算法都依附大规模标记良好的数据能力取得较好的推理成果。然而在医疗、银行以及一些政务畛域中，行业内对数据隐衷的爱护越来越强，造成可用数据重大匮乏的现状。针对上述问题，华为云可信智能计算服务（ TICS）专为突破银行、政企等行业的数据壁垒，实现数据安全共享，设计了多方联邦学习计划。
本篇博客次要介绍了华为云可信智能计算服务（TICS）采纳的纵向联邦逻辑回归（LR）计划。
一、什么是逻辑回归？
回归是形容自变量和因变量之间相互依赖关系的统计分析办法。线性回归作为一种常见的回归办法，罕用作线性模型（或线性关系）的拟合。
逻辑回归（logistic regression）尽管也称为回归，却不是一种模型拟合办法，而是一种简略的“二分类”算法。具备实现简略，算法高效等诸多长处。
图1.1 二维线性回归
图1.2 三维线性回归
1.1 线性回归（linear regression）
图1.1、1.2别离示意二维和三维线性回归模型，图1.1的拟合间接（蓝线）可示意为 y=ax+b，所有数据点（红点）到直线的总欧式间隔最短，欧式间隔罕用作计算指标损失函数，进而求解模型；相似的，图1.2的所有数据点到二维立体的总欧式间隔最短。所以线性回归模型通常能够示意为：
其中示意模型系数。
1.2 逻辑回归（LR）
LR是一种简略的有监督机器学习算法，对输出x，逻辑回归模型能够给出 y<0 or y>0 的概率，进而推断出样本为正样本还是负样本。
LR引入sigmoid函数来推断样本为正样本的概率，输出样本 x 为正样本的概率能够示意为：P(y|x) = g(y)，其中 g() 为sigmoid函数，
曲线图如图1.3所示，输入区间为0~1：
图1.3 sigmoid曲线
对于已知模型 和样本 x，y=1的概率能够示意为：
所以sigmoid尤其实用于二分类问题，当 g(y) > 0.5 时，示意 P(y=1|x) > 0.5，将其判为正样本，对应 y>0 ；反之，当 g(y) < 0.5 时，示意 P(y=1|x) < 0.5，将其判为负样本，对应 y<0。
1.3 LR损失函数
LR采纳对数损失函数，对于训练集x∈S，损失函数能够示意为（参考https://zhuanlan.zhihu.com/p/... ）：
梯度降落算法是LR模型的经典解法之一，模型迭代更新的表达式如下：
其中
- l()为指标损失函数，实质为均匀对数损失函数。
- S'为批处理数据集(大小为batchsize)，通过批处理形式引入随机扰动，使得模型权重更加疾速迫近最优值。
- 为学习率，间接影响模型的收敛速度，学习率过大会导致loss左右震荡无奈达到极值点，学习率太小会导致loss收敛速度过慢，长时间找不到极值点。
二、纵向联邦学习场景下的LR
对于纵向联邦学习的介绍曾经不足为奇，市面上也涌现出很多优良的产品，比方FATE、华为可信智能计算TICS等。纵向联邦能够实现多用户在不裸露己方数据的前提下，共享数据和特色，训练出精度更高的模型，对于金融和政务等泛滥行业具备重要意义。
图2.1 纵向联邦LR
2.1 LR的纵向联邦实现
纵向联邦学习的参与方都是抱着共享数据、不裸露己方数据的目标退出到联邦中，所以任何敏感数据都必须通过加密能力出己方信赖域（图2.1，参考https://arxiv.org/pdf/1711.10... ），这就引入了同态加密算法。同态加密为密文计算提供了可行性，同时也肯定水平上影响了机器学习算法的性能。常见的同态加密库包含seal、paillier等。
LR的纵向联邦流程如图2.2所示，host示意只有特色的一方，guest示意蕴含标签的一方。
图 2.2 纵向联邦LR算法实现流程
- 在训练开始之前，作业单方须要替换同态公钥。
- 每轮epoch（迭代）的batch（一轮batchsize的计算为一个batch）循环中，蕴含calEncryptedU-->calEncryptedGradient-->decryptGradient-->updateLrModel四步，guest和host都须要按此程序执行一遍（ 流程图中只体现了guest作为发起方的执行流程）。
A2步骤中梯度加随机噪声的目标是为了避免己方U泄露，造成平安问题。
因为同态加密计算只反对整数、浮点数的加法和乘法，所以将1.3中的模型迭代公式中的指数局部示意成泰勒表达式模式：