关于游戏:​TGDC-游戏技术助力自动驾驶虚拟仿真

9次阅读

共计 10491 个字符,预计需要花费 27 分钟才能阅读完成。

大家好,我是来自腾讯主动驾驶业务核心的孙驰天,明天我想跟大家分享一下咱们用游戏技术,来助力主动驾驶仿真所做的一些工作,在明天的分享开始前,想先有几个问题向大家发问一下。

首先第一个是,不晓得在座的各位,有多少是本人开车上下班的?下一个问题是,开车上下班的这些同学们,不晓得你们有多少同学在车上是搭载有辅助驾驶或者说是智能驾驶的性能的。那么搭载有辅助驾驶或者智能驾驶性能的同学们,不晓得你们有多少同学敢真正的信赖本人车上的辅助驾驶或者主动驾驶性能,让它来代替你做主动驾驶和辅助驾驶运行和决策布局呢。

其实当然我也看不到在座同学们的反馈,但之前咱们也在一些线下场合和交换里也询问过一些同学,咱们失去的反馈,其实并不如咱们设想中的数字那么乐观。大家对于主动驾驶或者说智能驾驶的安全性还是有肯定的放心的,所以明天咱们的分享次要是介绍咱们用了哪些游戏技术,来帮忙咱们更好的打造主动驾驶的仿真的技术,从而帮忙咱们主动驾驶自身的安全性有一个更高的晋升。

腾讯主动驾驶部门介绍

首先介绍一下咱们整个腾讯主动驾驶部门,其实很多敌人、很多同学都会问我腾讯还有主动驾驶部门,你们是不是要造车呀,因为的确是能够看到目前整个行业外部做主动驾驶以及造车的公司越来越多。但其实咱们还是很明确的,腾讯是不会本人去造车的,那咱们做什么呢?

咱们的定位是做汽车行业的工具箱和加速器,咱们会去做帮忙主动驾驶落地的工具、软件以及服务,那会波及到比如说包含面向主动驾驶的模仿仿真体系 TAD SIM,包含主动驾驶车端的全套软件 TAD Pilot,也包含面向主动驾驶用的一套云工具链和云服务 TAD Cloud,最初一个是咱们面向主动驾驶专用的,一种地图格局叫高精度地图 TAD HD MAP。

当然明天的分享主题可能跟咱们面向主动驾驶仿真零碎 TAD SIM 更相干一些,腾讯主动驾驶的合作伙伴会包含政府、车厂、汽车制造商或者 Tier1 一级供应商之类的,当然咱们的合作伙伴也会和高校进行科研的、前沿的利用。

从技术钻研走向落地利用

腾讯主动驾驶是 2016 年正式成立的,在这五年来咱们也打造了三位一体的面向主动驾驶的研发体系,包含刚刚咱们说过的一个主动驾驶的云开发平台、主动驾驶的高精度地图的平台,也包含一个专门为主动驾驶或者咱们叫智能网联汽车服务的仿真平台。

落地难题 1:感知算法训练

那咱们在这几年的研发、摸索和实际中碰到了什么样的问题呢?其实咱们很深切的感触到,在整个主动驾驶行业、或者咱们说智联网联汽车这个行业,有一些难题是困扰着咱们整个行业的后退和落地,所以咱们将这外面的最重要两点总结了进去。

第一是咱们在感知算法训练上所面临到的挑战,有一个比拟有意思的段子是说,人工智能、人工智能,你有多少人工能力有多少智能,这个点其实在主动驾驶行业里也是十分事实的,每年寰球这些做主动驾驶的公司,须要投入十分多的人力物力还有财力,来进行主动驾驶专用的人工智能算法的标注还有训练,这外面须要标注的这些样本,包含个别的汽车在路上常常碰到的交通场景,也会包含一些可能咱们平时不是很常常碰到,但咱们一旦碰到会产生比拟危险的交通事件的一些场景,咱们都是须要去进行数据的采集和标注的。

据第三方的统计,每年寰球这些主动驾驶公司,光在这样的数据集的采集和标注上,就有超过 10 亿美元的投入,所以这个投入还是十分十分微小的,而且这个数据集也是很难进行十分普适性的共享。起因是,当然,行业内有些公司会将本人采集和标注的数据集拿进去给大家去共用,然而其实在不同的国家、不同的城市内,是有不同的状况。

咱们举个例子,我国有些特色的场景,比如说外卖小哥、比方老头乐这种电动车 这种场景或者说这种因素,在别的国家是很少见到的,那这种因素的采集、标注都是须要咱们国家外部的这些科技公司来本人进行数据的收集和标注、制作。

所以这方面就会导致咱们的数据集,基本上是每家都要本人去制作很多很多的标注和采集的投入,这样的量级对于主动驾驶行业来说,还是比拟惨重的累赘。

落地难题 2:测试验证

第二个比拟重要的问题,须要行业解决的是测试验证问题,在 2016 年的时候,兰德智库就提出来一辆主动驾驶汽车,须要通过 110 亿英里这个间隔,能力证实它达到一个合格的人类驾驶员程度,它才能够进入一个量产的阶段,那 110 亿英里是什么概念。这里咱们举了一个比拟直观的数字,地球到太阳间隔大略是 0.932 亿英里,这样相当于是不到 1 亿英里的样子,110 亿英里就相当于 100 多倍的地日间隔,这个间隔行业里的公司们做到什么水平呢?

咱们拿行业里可能路测数据最多的谷歌无人车的子公司叫 Waymo,以他的数据来举例,Waymo 到目前为止,曾经实现了超过 2 千万英里的路测,即折合成 0.2 亿英里的数字,大家能够看到 0.2 亿英里,和咱们想达到的指标数字,110 亿英里还是有一个十分大的间隔,而且这也是破费了 Waymo 很多年的工夫能力达到。所以这个数字将是咱们主动驾驶落地的一个十分大的妨碍。

解决策略:虚构仿真

那咱们行业里会去怎么解决它呢?目前大家看到比拟通用的方法,是利用虚构仿真的引擎、虚构仿真零碎,来生成各种各样的场景解决刚刚所说的两个问题。举个例子,第一个问题感知算法训练的问题,那咱们可能不须要通过这么多的实在采集车去进行数据的采集和标注,而是借由仿真零碎本人外部构建变幻无穷、多种多样的场景,比如说城市的、高速的、城区的、晴天的、雨天的、雾天的等等这些场景会生成各种各样的图像。点云、不同的数据集用来给做感知零碎做训练。这样做的益处,除了咱们能够很不便的生成各种天气也好、极其的交通场景也好、间接生成进去这些对应的场景也好,这是一部分。

另外一个重要起因,是因为由仿真零碎生进去的场景是自带真值的,“真值”是指什么呢?这可能是在人工智能里,用得比拟多的一个词: ground truth。它是指一个物体或者一个元素的主观属性,其实咱们在察看和理解这个世界的时候,咱们看到的货色、咱们认知到的货色、或者咱们摸到的货色,其实它都不是真值,它不是主观值,它是观测值。而真值是指这个物体自身就具备的主观属性,所以由观测值去推导它物体自身具备的主观真值,两头就会存在误差,这外面就会引入谬误,但由仿真零碎这种自带真值的零碎,它生成进去的、预带标注后果的数据,它的后果是 100% 精确的。所以通过这种形式能够 100% 精确的,生成带有标注后果的训练数据。

第二个问题测试验证,尽管行业内公认的谷歌无人车的子公司 Waymo,尽管它目前只进行了 0.2 亿英里的路测,当然这里的“只”是有一点引号的意思在,因为他曾经是行业里遥遥领先的一个路测间隔了,然而他曾经进行了 150 亿英里的仿真测试,当然不仅仅是 waymo 了,在整个行业外部,应用虚构仿真技术来进行大范畴、大规模的里程测试,是一个共识,大家也将虚构仿真技术称作为主动驾驶技术的奠基技术,为什么要用虚构仿真技术,来尽可能的代替路线测试呢?

当然咱们不是说要齐全代替,咱们只是说应用虚构仿真技术来极大的代替,比方 95%、99% 的路测里程。有三个十分重要的起因,首先第一是安全性问题,说到安全性问题,我想大家能够把工夫带回到 2018 年的 3 月 18 号,在那一天,有一位可能大家会比拟熟知的人,一个很有名的作家李敖学生逝世了,当然这事是比拟受咱们关注,但其实在同一天、在主动驾驶行业内也产生了一件十分有冲击性的事件,就是在 2018 年的 3 月 18 号,在美国的亚利桑那州,uber 的无人测试车产生了整个行业内、寰球的第一起主动驾驶测试致死事变,这个事变其实过后对于整个行业来说,是十分大的一个负面冲击,因为主动驾驶目前面临的挑战,如最开始我提的那几个问题一样,大家关怀的就是最外围的就是安全性这个点。你在测试过程中就曾经产生了致死事变,你又如何可能保障你的产品,当前在大规模利用的时候,能够解决这些你本应该解决的平安问题呢?

所以应用虚构仿真测试来代替实在的路线测试,就能够完全避免安全性的问题,因为在虚拟世界外部是不会有任何实在的伤亡,毕竟你在虚拟世界外部你把楼、把车、把路线都撞毁了也是不会有任何损失的,所以安全性咱们是用虚构仿真测试来代替实在路测的一个很重要的起因,也是咱们放在第一个的起因。

第二个起因就是工夫和金钱,可能在座的小伙伴们没有真正从事过主动驾驶算法的测试,我举一个咱们去进行一次主动驾驶路测例子,早上可能筹备代码的公布、发包、车端部署,中午咱们上车,把车开到指定的测试区域,因为不是所有区域都能够测试的,你必须要去政府指定的主动驾驶的测试区域发展路测,测完之后下午再把数据拿回来,拿到本地咱们进行数据的剖析和解决。

这样一来一回,那怕你只是调了你算法里十分小的一个参数、一个变量,那也是须要、至多须要耗费一整天的工夫来进行验证。咱们能够设想,如果当你进行更多的、更丰盛的场景测试,有几千个、几万个、几十万个场景须要测试和笼罩的时候,那这个所耗费的工夫和金钱是十分海量的数字。而应用虚构仿真测试来进行这样的测试,你惟一须要承当就是电费一个老本。

第三个咱们会重点提到软件 OTA 的回归测试,可能这个概念对于咱们的小伙伴们来说会有一点生疏,在这里我简略解释一下,软件的 OTA 是指这个软件可能一开始公布到主动驾驶渠道上是版本一,前面通过不停的云端推送来进行长期的降级和迭代。比方特斯拉,它是最典型的主动驾驶行业外部,或者汽车行业外部,会应用 OTA 不停的进行智能驾驶或者说辅助驾驶软件降级的一家公司。

回归测试,是指咱们每次降级之后,咱们要进行一个十分全面的检查和测试,来保障我最新的主动驾驶算法,是能够解决之前我所有曾经解决的问题,而不是说捡了芝麻丢了西瓜,或者拆东墙补西墙。我解决了新的问题,旧的问题又呈现了,所以回归测试是十分重要的一点。

大家能够看到的是,如果一个软件版本就须要进行 110 亿英里的里程测试,那当每次你的软件通过 OTA 进行更新之后,你须要进行回归测试的时候,那这个总的里程就是一个天量、天文数字,没有一家公司是能够接受得起的。

“绿洲”虚构仿真零碎

所以,应用虚构仿真测试来进行软件 OTA 之后的回归测试,这也是一个必然的趋势。所以基于下面的这两个解决方案,咱们就做了一件什么事件,咱们的指标是要打造一个相似于电影《头等玩家》中的“绿洲”零碎,当然最近也上映了新的电影《失控玩家》,大家可能也有一些同学去看了,也是相似的概念。

实质咱们的目标是要构建这样的虚拟世界,只不过接入到这个虚拟世界外部的,不再是人类的玩家用户,而接入的是被测试的主动驾驶算法,咱们的目标要生成不同的关卡、不同的正本,让主动驾驶算法来体验不同的场景,面对不同的艰难和挑战,让咱们来察看他们是不是能够,很好的去解决这些不论是路上常见、还是路上不常见的交通场景和问题,从而咱们来决定这个算法是不是曾经成熟到能够部署到主动驾驶车辆上,进行实在的路线测试或者规模的商用。

外围仿真零碎的外围能力

基于这个目标,咱们就须要打造咱们的外围仿真零碎,咱们也总结了四个仿真零碎最外围的能力,在这里也是间接的列出来给大家。

第一个 是对于一个真实世界的几何还原能力,对于世界的几何还原能力,大家能够了解为咱们去构建了一个游戏的场景,这外面可能更须要在三维的动态场景之上。不论是咱们的游戏里,咱们叫场景构建、还是地编,可能都是相似一个概念,只有很精确的将一个世界、实在的还原进去,我才有可能比拟精确的去观测它。尤其是咱们在做主动驾驶测试的时候,咱们不仅要将世界十分实在的还原进去,咱们还须要将去观测这个世界的算法或者是模块,咱们叫传感器,比拟准确的还原进去。大家熟知的传感器可能会包含摄像头,这可能是大家最理解的,其实在主动驾驶或者智能网联汽车畛域,咱们也会用激光雷达,毫米波雷达这样的传感器。所以咱们的指标是,通过对世界的残缺、准确的几何还原,来帮忙咱们进行世界的实在重建,以及基于实在重建的世界的传感器仿真。这是咱们做的第一步,对于世界的几何还原。

第二步 就是要进行,对世界一个十分准确的逻辑还原,那几何还原解决了,咱们如何比拟准确的还原动态场景的问题,那逻辑还原须要解决的是,咱们如何去生成世界外部的动静的元素。动静场景问题,那动静元素就会包含咱们说的车、行人、外卖小哥、老头乐电动车。

想去还原这些动静因素,首先就要对这些动静元素有一个比拟形象、比拟精确的建模,车的静止轨迹是什么样子的、人的静止轨迹是什么样子,当行人碰到别的障碍物车的时候,它会有什么样的反馈,当行人碰到别的车、碰到别的行人的时候,是什么样的反馈。这都须要咱们在进行逻辑还原的时候,须要进行十分准确的还原,从而让这个世界外部的所有元素、动静元素、车流人流都更准确的贴近真实世界的这些元素的反馈。

第三 要对于真实世界的物理还原,做物理还原的起因是因为咱们在做整个主动驾驶仿真的时候,咱们很关怀这些汽车静止模型,这辆车的动力学模型、它的电机、发动机、变速器、能源传动系统,当然咱们也会关怀汽车的轮胎和高空的摩擦等这些物理效应,所以只有当比拟精确、准确、实在还原出这些物理成果,能力失去一个比拟准确的车辆仿真后果,这就是咱们第三步要解决的问题。

第四步 须要做的是高并发,这个可能在上一部分我也提到了,咱们做仿真零碎的目标,就是给这些主动驾驶算法建设十分多的正本,让他们去进行挨个的艰难和挑战。所以你想建设成千上万、几百万个正本,你就须要具备高并发能力。从而让这些主动驾驶算法,能够并行的进入到这几千、几万、几十万的场景或者正本当中去进行测试,而不是说我一个正本一个正本进行测试,那这样十万个场景量级的场景库,可能须要期待数个月的工夫能力失去一个后果。

所以这四个点是咱们目前总结的,对于主动驾驶仿真来说最外围的四个能力。

TAD Sim 1.0 从无到有构建数字孪生世界

基于咱们要去构建的这四个能力,咱们在过来的这五年工夫里做了什么呢?

首先咱们 TAD SIM1.0 也就是咱们第一个版本,咱们是从无到有构建了数字孪生世界,来去将咱们的主动驾驶算法放在外面进行世界的测试,咱们具体做了什么事件?

首先咱们基于主动驾驶专用的高精度地图,来残缺 1:1 还原了整个事实世界,而后咱们会将咱们的事实世界转换成一些真值,输入给不论是主动驾驶的算法也好,还是训练集也好,下一步咱们会在虚拟世界外部生成,变幻无穷的测试场景,供我的主动驾驶算法进行测试。

TAD Sim 2.0 实在数据 + 游戏技术双擎驱动

这就是咱们大略在前两年的时候,也就是咱们组建前两年的时候所做的事件。起初咱们发现只有这些事件可能是不够的,尤其在主动驾驶。咱们十分关怀的、仿真的真实性上是须要做晋升的,所以咱们又破费了比拟多的工夫,来利用游戏技术以及实在数据这两条腿、双擎驱动的形式,来帮忙咱们极大的晋升仿真零碎的真实性,当然咱们用了一些比拟不同的技术路线和形式来晋升真实性,包含在传感器仿真下来用游戏引擎的能力,包含咱们在做交通流的仿真上。咱们会应用 AI、Agent AI 的能力,前面会有一个更具体的介绍。

首先咱们谈到用游戏技术来晋升,咱们主动驾驶仿真零碎的真实性,咱们指的不是咱们小时候,带给咱们有限欢畅的这些游戏。

而是更新的应用最新的游戏引擎、游戏的渲染引擎或者游戏 AI 技术等等。来构建的这些次时代的游戏,这外面有很多货色是咱们能够拿来借鉴,构建主动驾驶仿真测试用的零碎。

举例来说,第一点是咱们如何用这些游戏技术来进行看似很实在,但实际上是虚构场景的还原,这外面举了四个例子,大家能够看一看这四个场景的构建,哪一个是实在、哪一个是虚构的。

这四个场景其实都是虚构的,都是利用游戏引擎以及一些场景的,构建技术来还原进去一个真实世界供主动驾驶汽车来进行测试。在这种场景还原的技术点上,有几点是咱们特地关怀的,首先是模型的面数,包含所有模型所应用的材质,当然也有对应的光照变动和利用的优化,这些都联合起来会极大的影响咱们整个虚构测试的场景的还原真实度。而场景还原真实度也是,刚刚我介绍过的外围能力的第一条,对于一个真实世界的几何还原,会极大的影响咱们整个仿真测试的后果,所以应用游戏技术外面的场景还原技术,不仅仅是游戏引擎也会用一些别的技术,来帮忙咱们极大晋升场景的真实性,这对咱们是十分有帮忙。

同时咱们也是用了一些,不论是腾讯地图的数据还是卫星图的数据,或者咱们也用了人工智能算法来帮忙咱们大规模的生成城市级别区域,这都是咱们用这些相似的技术来帮忙咱们进行仿真测试的。

这外面大家能够看到,这是咱们用腾讯地图 + 卫星图数据 + 咱们本人的数据孪生的人工智能算法的工具链,能够间接纯主动的生成。这是北京市五环以内 576 平方公里的齐全的城市重建,这外面没有任何人工干预,不论是建筑物还是路线,还是水系还是植被,齐全都是纯主动生成、一键生成的,咱们所花的所有老本也就是在本地,运行了一个 22 小时的电脑和电费,仅此而已。

如果这个工作放在云上的话,能够在一小时内疾速实现 576 平方公里的重建,所以应用这种技术来帮忙咱们重建,并在游戏引擎内去渲染一个十分广域和真实世界可能对应上的场景,能够帮忙咱们去进行真实世界所对应的虚构场景搭建,从而进行对应的虚拟世界的主动驾驶的测试。

刚刚介绍的是咱们利用腾讯地图、卫星图还有一些咱们用 POI 数据,来帮忙咱们构建城市级别的场景,当咱们做主动驾驶仿真测试的时候,其实在一些部分的路线,咱们是对精度有着十分高的要求。咱们心愿精度能够达到厘米级,比方 3 厘米、5 厘米,这种状况下咱们就会采纳第二种技术手段,也就是一套依赖数据采集车的数据采集和重建技术,来十分高精度以 3 厘米的精度来还原整个真实世界。

还原真实世界的步骤

这里介绍了咱们整个还原真实世界的步骤,首先咱们会进行肯定的数据采集生成肯定的虚拟世界,而后转化成刚刚提到过通过真值零碎转换成深度值也好、语义信息也好,就是语义宰割后的后果也好。

通过这些数据,咱们通过生成式反抗网络,又将它们转换成了实在图片格调的图像,以及标注的后果,而且这个标注后果因为是进行了真值标注,所以是 100% 精确。通过这些真值的后果又反过来,训练咱们的场景生成和感知的算法,又反过来能够晋升咱们场景的生成的自动化率,以及升高人工成本参加的比例,所以这样闭环的工具链通过三年工夫能够十分高自动化率、十分低成本不间断的运行,帮忙咱们主动生成世界上各种各样的场景。当然咱们还是须要采集肯定的实在数据,作为咱们这个数据集的输出来补齐的,然而这样一个自闭环场景生成的工具链,帮忙咱们极大的解决了采集数据会破费肯定的工夫和老本,但要又要生成有限多种虚构场景的问题。

这个能够看到是咱们通过刚刚介绍的依赖采集车的数据孪生的工具链,帮忙咱们还原了一个仿真测试场景,左边是实在的采集回来的路测数据,右边是咱们用采集回来的数据,能够齐全还原的虚构仿真的测试场景,这外面包含咱们对于动态世界的还原,修建、路线、路牌、标识牌、路线、路面上的一些高空标识,当然也包含动静元素,这些行人这些车流,包含也能够看到,咱们也生成了外卖小哥的小车。将动静元素和动态元素合在一起,咱们就生成一个比拟实在,能够进行虚构仿真测试的一个虚拟环境。而且这样做的益处是,咱们能够通过无限的数据,能够去生成有限多种的测试场景,这里咱们是生成了一个和真实世界,十分统一的、齐全回放或者咱们,在复现实在路采数据的虚构场景,但咱们能够用这个数据来生成,有限多种变幻无穷跟真实世界,齐全不一样的场景,来进行进一步的主动驾驶的仿真测试。

基于数字孪生仿真的车辆在环测试

基于刚刚我说的这些工作,生成进去这些场景之后,咱们还能够做进一步更实在的仿真测试,在行业外部咱们管这个叫“车辆在环测试”。举一个直观例子,咱们给主动驾驶汽车套上了一个 AR 眼镜,大家能够看到在右侧四幅画面外面,最左边的两侧是咱们由虚构仿真零碎间接生成的虚构画面,而靠左边这两侧图片是咱们将虚构仿真系统生成的这些动静元素。这个图层能够提取进去,以 AR 的形式叠加到主动驾驶汽车实在看到的真实世界的摄像头的后果下面去,从而能够在齐全空阔的测试场外部,去生成有数多种、变幻无穷、各种各样的交通参与者的测试。包含这外面呈现有老奶奶过马路、有小猫小狗间接横穿马路的,这种你在真实世界内齐全不会看到的场景,很容易通过咱们这种形式。首先能够在虚构场景内去生成,而后咱们会将它这个图层给提取进去,以 AR 的形式叠加到实在的摄像头之上,进行一个车辆在环测试,这个也是咱们借助游戏引擎的一些能力,包含咱们做的一些 AR 的工作能够帮忙咱们去进行一个十分实在的车辆在环的仿真测试。

Agent AI

上面我想介绍一下,咱们应用 Agent AI 来晋升咱们在主动驾驶仿真里所应用的这些交通流的智能,交通流个别包含车流和人流,次要是行人和其余障碍物车等等这些动静元素。

这外面其实大家可能会很直观的想到,咱们须要面对的就是场景的外部所须要的这些元素,这可能跟游戏外部的 NPC 是十分像的,只不过咱们提的要求,可能会和游戏外部有些不一样,游戏外部的 NPC 个别是服务于一些特定的行为或者特定的运行规定。而对于咱们来说 咱们的目标是须要这些 Agent AI、这些 NPC 的 AI 要极大的还原真实世界里行人、车流、自行车,或者是电动车他们的实在静止行为,所以对于咱们来说,光应用咱们游戏里罕用的 behavior tree 或者是一些别的状态机,可能都是不足够的。

基于这些游戏里咱们罕用的性能之外,咱们还要应用咱们采集回来的大量的实在数据,包含大量的车流数据、也包含大量的人流数据,用这些实在数据来训练咱们整个 Agent AI 的参数,从而让咱们 Agent AI 的各种参数,比方靠近水平。

咱们举一个直观的例子,比方他开车的时候有如许想去并道、有如许想去加塞,或者它去跟前车的间隔,会放弃在一个很平安的跟车间隔,还是很危险很靠近的跟车间隔。这些参数都要通过实在采集回来的数据进行训练和标定,从而失去一个十分贴近实在的交通场景的 Agent AI 的零碎,这是咱们应用 Agent AI 来去帮忙咱们,生成咱们场景外部这些交通流的元素。

云游戏技术

下一个我想讲的点是咱们如何应用云游戏技术(次要是云渲染的技术),来帮忙咱们进行主动驾驶仿真的运行后果的一个触达。其实在主动驾驶仿真里,咱们的计算齐全都是在云端的后盾,不论是咱们整个场景的运算,还是咱们对算法的运算,其实都是一个纯后盾的计算,咱们如何将场景外部的目前运行的状态,这个车碰到了什么样的场景,它当初处于什么样的元素外部,把这个后果出现给终端用户,这就须要应用云游戏或者精确来说是云渲染的技术,将后盾渲染进去的图像,不论传感器的也好、还是场景自身的也好,渲染进去的图像通过推流的形式推送到前端、用户端,能够让用户在随时随地,基本上以用网页浏览器的形式来进行拜访,这样用户就能够十分轻松的拜访到在后盾高并发运行的,那几千上万甚至几十万个主动驾驶仿真测试场景外部。他关怀的那一个场景外部,这个车到底碰到了什么样的场景,它在尝试解决一个什么样的问题,它当初运行的状态是什么样。这样十分高真切的可视化后果,就能够通过这个通路触达到用户的网页端,让用户看到咱们的后果。

MMO 同步

第三个,我想跟大家介绍的是咱们如何应用 MMO 同步技术,来帮忙咱们晋升仿真零碎在运算时的一致性。其实 MMO 大家都比拟相熟了,不论是咱们以前去常常玩的《魔兽世界》、还是咱们腾讯自研的国风大世界游戏《咫尺明月刀》,其实它的后盾都是用了很多 MMO 技术,来进行玩家间的信息同步。

举例来说,当玩家 A 攻打玩家 B 的时候,我一拳挥进来的时候,在玩家 B 的视角外部,他也要看到是一个齐全一样的场景,而不能说玩家 A 看到我这个拳曾经击打到玩家 B 的身上了,而对于玩家 B 来说这一拳还隔着十万八千里,所以对于咱们来说仿真测试,其实不仅是要可能实现同步的后果,而且咱们会比游戏的要求会再更高一层、再更上一层,咱们会要求在整个仿真的外部,咱们所有元素的信息同步须要做到强一致性。

什么叫强一致性,在做游戏的时候,在后盾外部如果呈现了丢帧、丢包、网络抖动状况,咱们在客户端会是做一些弥补,通过一些预测也好、或者一些差值的算法,来将咱们丢掉的数据包、丢掉这一帧给补上来,但在咱们做主动驾驶仿真的时候,是不容许进行这样的操作。为了保障咱们整个主动驾驶仿真世界内所有因素,不论是场景外部的车流、人流 这些因素也好,还是咱们被测的主动驾驶车辆,它们所有因素看到场景必须在每一帧是齐全一样。为了保障这一点,咱们就不能允许去做任何差值和预测,而要保障在每一帧所有因素的运算后果肯定要实现,而且要同步到所有其余的因素后果下面来。

所以这里的话,咱们就要进行基于 MMO 同步技术的二次开发,来进行强一致性的实现,保障场景外部,那怕是个十分大的地图,可能几百平方公里、几千平方公里的地图,在左上角一辆车动静它这个数据,也能够通过真值零碎霎时、残缺、齐全精确的传播给整个地图的最右下角的车辆的收到的信息,这是咱们应用基于 MMO 技术、同步技术,来进行更进一步的仿真强一致性的后盾技术,同步咱们开发所做的一些工作。

以上就是我给大家分享,咱们如何应用游戏技术,来帮忙咱们打造主动驾驶仿真零碎,来帮忙咱们晋升主动驾驶仿真零碎的真实性,从而应用主动驾驶的仿真零碎来进一步晋升主动驾驶汽车、智能网联汽车也好,它的安全性的一个工作。

但不论是咱们用到游戏技术,或者是整个行业内一些别的同行会用,更广大的上下游有不同畛域的技术,我想强调的是这是件十分庄重的事件,说到底只有波及到平安,那都不是一个小问题,咱们想做的事件是为了极大的保障,大家在应用智能驾驶汽车,应用主动驾驶模式的时候一个驾驶安全性问题。

尽管咱们用了很多游戏技术,但其实咱们是十分庄重应用游戏技术在主动驾驶这个行业外部,庄重去解决主动驾驶安全性问题。咱们也是心愿通过咱们做这些工作,通过咱们的这些致力,能够让大家能十分有信念在将来 3 年、5 年内,敢于将汽车的驾驶权交给汽车商的主动驾驶的算法,让它来代替你进行汽车的驾驶。谢谢大家,以上就是我明天的分享。

正文完
 0