共计 4408 个字符,预计需要花费 12 分钟才能阅读完成。
作者 | 贾宁宇
起源 | 阿里巴巴云原生公众号
在米哈游的办公区,有一间会议室,专门留给了阿里云工程师。
往年,是这家二次元文化公司创建的第九年,米哈游和阿里云的交情,也有八年了。
米哈游总裁刘伟还记得多年前,王坚博士带着八位公司高管和负责团队到达米哈游办公室时的情景。那天,在米哈游租用的小小的办公区中,只有 30 多个工位,甚至没有一间会议室能同时包容这十来名访客。
那时,米哈游创建不久,阿里云也还在对外服务的起步阶段,两个老成持重的小兄弟机缘巧合走到了一起,彼此摸索着前行。
那一天,王坚博士讲了这样一段话:“如果客户坐着飞机在天上飞,咱们只在地上看,是很容易出故障的。要做,咱们就和客户一起在天上飞。”
临走时,王坚博士将本人的手机号写给了刘伟。他说,有任何问题,间接打电话给我。
许多年过来了,所幸,这样的一通电话从未拨出去。而阿里巴巴外围零碎也早已实现 100% 上云,验证了那句“和客户坐在同一架飞机上”。
工夫一晃而过。2020 年 9 月,在米哈游与阿里云并行的第八年,这家二次元文化公司上线了最新的代表作《原神》,寰球五大区服齐全承载在阿里云上。
在这一年年底,《原神》像游戏行业的一匹黑马,热度节节上升。
11 月 30 日,谷歌将 Google Play 2020 年度最佳游戏颁发给了《原神》;仅一天后,苹果又将 App Store 2020 iPhone 年度游戏交给了《原神》。
这可能是中国游戏首次取得“双冠”殊荣。
在这一年,阿里云也早已从当年的小兄弟成长为云计算行业的领军者,成为许多行业的数字化底座,也为许多中国游戏企业提供服务。
从“置信”开始
回到 2012 年,米哈游刚刚做出二次元游戏《崩坏学园》。
那一年,手游市场还处于起步阶段,动漫游戏更是开发者寥寥,环视 App Store,没有几个成型的手机动漫游戏。但在米哈游心里,将来的游戏市场,肯定有国产动漫的一席之地。
偶合的是,云计算的行业阶段和动漫游戏有些相似。作为一个新生技术,中国的云计算行业起步不久,但米哈游和阿里云都有着一个对于将来的幻想。
没有人晓得将来如何到达,“置信”就是惟一的门路。
传统 IT 时代,游戏公司的做法是本人购买服务器、自建机房、配置运维人员。这样斥巨资能力启动的重模式,将许多有想法的创业者挡在了游戏行业的门外,在那个期间,研发游戏简直只能是大公司的专利。
云计算带来了一个新机会——跳过所有后期的 IT 设施投入,间接在网页上点点鼠标,就能调用云算力。这简直是为米哈游这样的守业团队量身定制的完满产品。
米哈游开创团队晚期合影
“崩 1”上线时,应用了阿里云的两台云服务器,小小的尝试,开启了米哈游的“云上之旅”。
回顾起来,米哈游能够说是一代互联网守业企业的代表。诞生在云端,所有业务都在云上,率先感触着云计算高弹性、高并发、低成本等种种特色,堪称“云原生企业”。
也正是这一代“云原生企业”的疾速成长,推动着中国云计算的倒退与遍及。
2016 年,米哈游上线了第三款游戏:《崩坏 3》。但在此时,米哈游仍只有两名运维人员——在传统自建服务器机房的时代,这简直是不可设想的。
作为晚期云计算的“吃螃蟹”用户,米哈游踩过坑。
“问题是很难防止的,要害是能不能解决问题。”米哈游的技术负责人刘霄回顾说。
一年年过来,米哈游也慢慢成长起来,从三个人到几十人,再到几百、上千人,不再是那个没有会议室的小团队。
米哈游也为阿里云工程师们专门留了一间会议室,对他们说,“随时来、随时用”。
“取道”阿里云,平安出海
起初,米哈游规模尚小,在拓展海内市场的过程中也遇到了一些挫折。
“所幸当初规模小,用户不算多,这件事的负面影响还能管制。如果是在“崩 3”、《原神》这样规模的游戏上,那损失就不可估量了。”回想起来,刘霄还有些后怕,“所以应该说,对于大部分游戏公司,云就是最好的抉择,没有之一。”
2016 年,米哈游正式开启全面“出海”。在海内服务区,《崩坏 3》最后抉择了一家海内云服务商,却遭逢了几次黑客的 DDoS 攻打,更有一次甚至影响用户失常拜访。
这是一种十分歹意的网络攻击办法:黑客在短时间外向服务器发动大量申请,造成网络拥塞,导致失常用户无法访问。
举个更形象的例子,比方一家包容 100 人的餐厅停业了,隔壁餐厅看着不快乐,雇了 150 个小流氓涌入这家餐厅,光坐着不吃饭,把所有空间占满了。后果,想来吃饭的一般客人都进不来。
为了进攻攻打,米哈游还曾购买了额定的平安防护服务,因为技术支持和沟通效率问题,情况没有及时失去改善。
苦恼中,米哈游想起了阿里云,与阿里云工程师们共计一番,想出了一个办法——将玩家申请先通过阿里云高防 IP,通过流量荡涤后,再转回原机房,从而抵御了上百 GB 的 DDoS 攻打。
困扰米哈游许久的问题,一举就被解决。
工夫曾经走到了 2017 年。通过几年致力,阿里云在寰球的基础设施也越建越多,在那一年底,阿里云在寰球领有 17 个区域、53 个可用区,遍布亚、欧、美各地。
对于米哈游来说,此时此刻,应该是将“崩 3”全副迁至阿里云的最佳时机了。
起初,在策划《原神》时,米哈游没有再犹豫,《原神》的寰球资源,全副间接上阿里云。截至目前,已经遭逢的海内黑客攻击,未在《原神》上呈现过。
《原神》,一个前所未有的挑战
《原神》,是米哈游和阿里云独特面临的一次微小挑战。
《原神》的布局有多雄伟?这不仅是一款凋谢世界游戏——意味着宏大的地图和人物画面、简单的关卡设计和故事情节。更有难度的是,米哈游想做一款多平台、寰球同步公测的游戏,也就是 PS4、iOS、Android、PC 等所有游戏平台,和寰球五大服务区同时开服、同时上线,雷同服务区内数据互通、无缝连接。
例如在手机上玩《原神》,切换到电脑上,玩法和进度都能够无缝连接。
而且,为了更好的联机游戏体验,米哈游采取的是“大通服”。
大部分游戏公司会采纳“分服”的形式,一个区域内有很多个服务器,玩家达到肯定数量后再减少服务器。但“通服”是将一个大区的所有用户都放在同一个服务器集群上,玩家的在线数骤增。
也就是说,等到《原神》上线的那一天,寰球、全服的用户一起涌入,一时的 PCU(最高在线玩家人数)可能会远远超出日常预估。
如果米哈游能设计出这样一款产品,那么,面对这样高并发、高性能、高弹性的技术需要,阿里云能反对吗?
有些人感到忐忑,然而米哈游判若两人地抉择了阿里云。这种信赖源自于单方多年的单干。
米哈游对阿里云太熟了,这些年,他们看到了阿里云撑持着淘宝天猫度过了一次次 双 11,每一年,阿里云撑持的计算峰值都会再高一些。
“尽管咱们不是电商,但游戏和技术对于高并发的需要十分类似,从 双 11 来看,咱们置信阿里云的技术能力是足够的。”
他们也看到了阿里云在疾速地提高。2017 年,阿里云上线了自研数据库 PolarDB,可能提供分钟级的配置升降级、秒级的故障复原、全局数据一致性和数据备份容灾服务。
对于米哈游来说,本来在应用老式的数据库时,备份数据耗时几个小时,游戏不得不停服一个多小时;而在 PolarDB 上,备份工作可能被缩短至秒级,大大减少了数据备份的耗时,晋升了版本更新效率。
2020 年 7 月,《原神》同时在 PS4、iOS、Android、PC 平台开启最终内测,进入了冲刺阶段。
欢送来到提瓦特大陆
阿里云的工程师们又来到了那间相熟的会议室。在最初冲刺的这两个月中,他们再次成为这里的常驻者,“把《原神》当作阿里本人的我的项目来做”。
阿里云多年累积的能力,成为《原神》巨大构想实现的技术根底。
比方,被工程师们称作“一套架构,寰球部署”的资源保障能力。简略说,在寰球不同的服务节点上,阿里云从根底层到数据库的一套架构产品,包含云服务器、网络资源、存储、平安、数据库等等,都采纳了同一套架构,提供雷同的性能体验。
这为《原神》“寰球同时开服”的需要提供了根底保障,意味着米哈游在寰球也只须要搭建一套架构,而不须要每到一个服务区就就地取材地改一次架构。
同时,雷同的性能,确保了寰球五大区可能给予玩家们对立的游戏体验,不会造成“某些性能只有特定区域有,另一些区域缺失”的状况。
再比方,PolarDB 在满足《原神》高性能游戏数据库需要的同时,又凭借着欠缺的产品封装状态,升高了米哈游在 IT 运维上的投入,能够让全副人马专一在游戏自身。“咱们就分心做游戏上的设计,这些根底的 IT 工作,根本都交给阿里云了。”刘霄总结说。
这是阿里云在游戏畛域最大的一次全面实战。《原神》对阿里云技术的一些需要,即便已在不同客户、不同畛域实际过,但这样一次性挑战所有高难度动作的我的项目,还是第一次。
从寰球部署和预约量来看,上线后,《原神》将成为寰球在云上规模最大的游戏——几个月后,这成为一个事实。
所以,连阿里云相熟的“热迁徙”,在《原神》上都要进一步降级。
热迁徙,意为将整个虚拟机的运行状态残缺保留下来,同时疾速复原到原有或其余硬件平台上,同时,用户在应用层面不会察觉到任何差别。
艰深点说,这有点相似于行驶在高速公路上的汽车,发动机呈现报警,须要不停车实现更换。
如果说“换汽车发动机”是个别状态,那么在《原神》上,就是一次给地面的超大型飞机换发动机的过程。而且,因为游戏对稳定性的极高要求,更换过程中,“飞机”不能有丝毫的抖动和偏移。
需要从米哈游的会议室里传递回阿里云的飞天园区,从游戏业务传递到虚拟化业务,不同部门的工程师聚在一起想办法,摸索出一套通过智能运维系统对底层性能进行调整,实现在超高 QPS、高 CPU 和内存负载场景下的无损“AI 热迁徙”办法。
“AI 热迁徙”利用在《原神》上,迄今为止,成果非常明显。
最初两个月中,《原神》的预约量节节攀升,对服务器的需要也越来越高。终于,在服务器实现了几十次扩容并连夜进行了压力测试后,工程师们感觉到,这次,成了!
9 月 28 日,阿里云团队在提瓦特会议室
9 月 28 日,《原神》寰球同步公测开启,10 点,正式上线。
那间会议室里,阿里云的 20 多名工程师紧盯着大屏上的各个指数,一个又一个峰值呈现。
最终,PCU 峰值达到了某一个数值,高于所有人的预期,但云稳稳扛住了压力。就像之前曾经进行过的无数次压测一样,顺利,平静。
门外,贴着这间会议室的名字:提瓦特。
在提瓦特大陆上,被神选中的人将被授予“神之眼”,这些人被称为——原神。
2020 云原生实战峰会行将开启
米哈游是第一代云原生企业,是云原生落地企业的最佳样本,其云上蓬勃的成长门路能够给到更多企业落地云原生的参考。云原生时代已悄悄降临,越来越多的企业看到了云原生的闪光点,如何落地云原生产生理论业务价值成为企业亟待解决的独特命题。
2020 年 12 月 23 日,阿里云将 在北京国贸大酒店召开以“云原生减速企业数字翻新降级”为主题的“2020 云原生实战峰会”。届时,泛滥行业当先企业技术管理者将缺席本次会议,与宽广开发者独特探讨云原生落地的最佳姿态,分享不同行业企业落地时的现状、挑战和翻新实际,交换云原生避坑教训。
原文链接
本文为阿里云原创内容,未经容许不得转载。