FederatedDeepReinforcementLearning联邦深度强化学习

64次阅读

共计 685 个字符,预计需要花费 2 分钟才能阅读完成。

概要

  • 在深度强化学习领域,由于用户特征重叠部分小且训练数据有限,很难找到一个高质量的学习方法。尽管先前的迁移学习已经在深度强化学习领域取得成功,但是迁移学习直接把数据、模型在各方中转移是侵犯隐私的。下边我们就提出了一种保护数据模型隐私的方法——联邦深度学习。
  • 在联邦学习中,在更新他方的当地模型时,我们利用高斯微分对共享的信息进行加工,来达到保护隐私的目的。并在试验中通过两个维度评估了联邦学习框架

介绍

  • 在深度强化学习领域,由于用户特征重叠部分小且训练数据有限,而且实际上用户的数据是信息敏感的,让一个信息中心建立一个高质量的模型是困难的。我们便提出了联邦学习,通过许多用户的数据来训练得到一个分类或者聚类模型。联邦学习的优势在于各个客户只分享有限的信息,信息发送时加密,收到时解码。并且参与的客户有奖励——帮助建立决策政策
  • 两个例子:

(1)在工业生产一件产品,需要许多工厂分别生产不同的部件。对单个工厂而言,由于规模和数据有限,建立一个高水平的决策政策是困难的。所以,在他们的数据不被泄露的情况下,帮助他们建立一个联邦决策政策是至关重要的。

(2)在医疗领域,患者在医院接受治疗后,医院很难收到反馈,这让医院很难建立治疗决策政策。除此之外,医院各个患者的数据也是私有的,因此建立一个医院反馈政策很重要。

  • 联邦学习和多端强化学习不同,每个客户可以自己决定是否分享数据、承担工作进而得到奖励,自主权很大,不是由服务器分配。联邦学习和迁移学习也不同,迁移学习需要在不同客户间分享数据,联邦学习则禁止这种行为。

疑惑

与白皮书不同,迁移学习是联邦学习的一种方法,加密数据仍然有被攻击泄露的可能

正文完
 0