共计 2210 个字符，预计需要花费 6 分钟才能阅读完成。
难得的除夕小假期，没有什么比得上在慵懒的冬日艳阳下放松本人，拿起手机，叫上了许久未一起作战的小伙伴，到王者光荣中激战了一番，好像又回到了当年那个年老的本人。
厉害不，毕竟当年 DD 也是 王者五十星 的程度，哈哈。
不过哪怕是我这样的王者，在去年也被腾讯上线的 超强电脑 AI 绝悟 虐的不轻。记得过后有敌人来找我，说是腾讯上线了一个 绝悟挑战 模式，外面的电脑 AI 和以往被咱们拿来练熟练度的电脑相比，几乎就是云泥之别，一关比一关难，据说连一些职业选手组成的车队都翻车了。
听的那么玄乎，头硬的我天然不会轻信，而后随后的几天中，果不其然被绝悟虐的生存不可自理，最初还是兴冲冲的靠着网上流传的“大乔 - 米莱蒂”传送偷家套路才勉强过关。
一边回顾着被绝悟惨虐的经验一边浏览着最近的新闻，忽然眼中爆射出一道惊芒，中国足球世界杯夺冠了！
你没有看错，确实是中国足球世界杯夺冠了，然而夺冠的并非传统意义上的男足女足，而是由咱们已经相熟的绝悟进化之后新生的 足球 AI-WeKick！
WeKick 夺冠的是首届谷歌足球 Kaggle 比赛，参赛队伍多达 1138 支，能够说是代表了目前地球上最顶尖的足球 AI 较量，称之为足球 AI 世界杯也不为过。
而在所有参赛队伍中，WeKick 的得分高达 1785.8 分，占据绝对优势位置，就像 96 年的公牛、02 年的巴西一样，势不可挡！
不可相信？再给你看下精彩集锦！
快、准、直！一记完满的长传后，直射球门！
间断冲破重围，轻松传球 4 次。
有些人可能不以为然，感觉之前绝悟在王者光荣的体现，用去踢足球，也是很简略的。
其实不然，首先王者光荣是一个 5V5 的游戏，而足球是一个 11v11 的静止，就是说 AI 须要管制的智能体（球员）个数多了一倍以上，其次足球赛虽也属于即时策略型游戏，但也须要 AI 具备长线思考、疾速决策、解决简单环境的能力。AI 须要思考到每个球员的速度、加速度、射门、头球、传球、防守等各种指数，同时还须要操控球员之间进行频繁的相互配合，也须要时刻察看对手球员的行为，防备于未然，做出最好的抉择！
针对这些不同的状况，WeKick 团队施展设想，次要使用了以下三个翻新进行针对性的模型训练。
Self-Play 强化学习框架
WeKick 团队采纳 Self-Play（自博弈）强化学习来从零开始训练模型，并以此部署到异步分布式的强化学习框架中。异步架构就义了一部分训练的实时性能，然而相应的，失去了更高的灵活性，同时能够反对在训练过程中按理论须要调整整个计算资源，使其能疾速完满的适应智能体人数更多的足球游戏训练环境。
GAIL 生成反抗模仿学习
王者光荣是一款反抗类的 MOBA 游戏，其最终目标和足球游戏大同小异，WeKick 团队采纳了 GAIL（生成反抗模仿学习）与人工设计的处分联合的形式，在特色与处分设计上进行了扩大和翻新。
使用这个计划，WeKick 能够从其它球队学习，拟合专家行为的状态和动作散布，再将 GAIL 训练的模型作为固定对手进行进一步 Self-Play 训练，进一步晋升策略的稳健性。
League 多格调强化学习
上述的 Self-Play 强化学习计划，有一个尚未解决的缺憾，就是通过这个计划失去的模型很容易造成繁多的格调。用足球比赛的说法就是打法变化无穷，很容易被针对或遇上天生克服的阵型就手足无措。为了解决这个问题，WeKick 团队采纳了针对多智能体学习工作的 League（若干策略池）多格调强化学习训练计划，晋升策略的多样性。
这种 League 多格调强化学习训练计划的次要流程，用一句话解释就是 由简入繁！
- 首先训练某一方面的根底模型，例如过人、盘带、传球、射门等。
- 依据根底模型训练出多个风格化模型，每个模型专一一种格调打法，训练过程中退出主模型作为训练对手，防止训练成果死板不变通。
- 再基于多个根底模型训练一个主模型，主模型能够将本人的历史版本作为训练对手，还能够退出所有风格化的模型作为不同的训练对商铺，使主模型遇上任何对手都有解决方案。
依据其外部能力评分零碎显示，这种算法下的主模型，能够在根底模型的根底上进步 200 分，比最强的风格化打法高 80 分！
最初介绍下谷歌足球 Kaggle 比赛
Kaggle 创建于 2010 年，是寰球最大的数据迷信社区和数据迷信比赛平台。本届较量是 Kaggle 首次针对足球 AI 畛域公布的赛题。
因为足球运动团队策略要求在瞬息万变的赛场上，做出最正确的团队合作、实时决策和竞争策略，其中的难点，始终是困扰世界顶尖 AI 钻研团队的难题。就像前文提到的，从绝悟进化到 WeKick，管制的智能体各数从 5v5 进步到 11v11，这两头强化学习的难度将随着智能体个数的增长出现指数级的爆炸增长。
其实早在加入这个较量之前，绝悟的开发团队早曾经从足球比赛中的单个智能体管制转向多智能体同时管制、协同作战深刻的钻研方向。在先前加入的 5v5 模式的谷歌天梯较量 Google Research Football League 中，绝悟曾经博得过冠军，这次能够说是再度升级版的夺冠。
从最早的围棋 AI 绝艺，到王者光荣的 MOBA 游戏 AI 绝悟，再到现在的足球 AI-WeKick，腾讯在人工智能的深度强化学习水平正在步步进化，将来很有可能使用于其余更宽泛的行业中，真正做到人工智能为人类服务。
而此刻的我，只想什么时候能有机会和这个 WeKick 踢上（被虐）几场较量，你也想和他过过招吗？
欢送关注我的公众号：程序猿 DD，取得独家整顿的收费学习资源助力你的 Java 学习之路！另每周赠书不停哦～
