关于python:可靠安全稳定开源高质量项目-亚马逊的开源文化

47次阅读

共计 4504 个字符,预计需要花费 12 分钟才能阅读完成。

亚马逊的领导力准则是亚马逊文化的外围,它如同亚马逊的 DNA 融入贯通每一个重要决策,深深影响着每一位亚麻人、影响着每一位亚马逊的客户、合作伙伴以及每一位亚马逊云科技的构建者。同时,亚马逊的领导力准则对亚马逊与开源的互动形式也产生着深远的影响。

在上篇文章,咱们为大家讲述了亚马逊是如何在开源社区中践行最重要的一条领导力准则——客户至尚:通过始终以客户为核心,凝听开发者的反馈,通过单干和参加开源社区,让开源更易用。

本篇咱们想与大家分享咱们另一条领导力准则在开源文化中的实际——最高规范。

最高规范


不论是为开发者提供全托管开源软件服务,还是为自治理形式的客户提供各类简单的根底云服务,咱们都须要确保这些产品及服务可能在满足开发者需要的根底上具备足够的可靠性、安全性、稳定性。这就是亚马逊的另一领导力准则——最高规范。

亚马逊外部应用 Apache Lucene 多年,在 2019 年 Amazon.com 决定将搜寻服务 100% 转为由 Lucene 驱动。作为一项开源技术,Lucene 是否反对亚马逊运行的规模下的搜寻性能,迁徙是否会有业务危险?事实证明,亚马逊的退出,将 Lucene 搜寻性能的极限推向又一个新高峰。

Apache Lucene


  • 我的项目主页

https://lucene.apache.org/

  • 我的项目地址

https://github.com/apache/lucene

Apache Lucene 是一个应用 Java 构建的开源全文搜寻库,亚马逊的高级首席搜寻工程师 Mike McCandless(Lucene 和相干我的项目的长期贡献者)示意,在将 Lucene 的应用“推向极限”的过程中,亚马逊的工程师们发现了一些边缘毛糙 (rough edges)、破绽和其余问题,并无效解决了这些问题。

出于行业竞争或者产品策略的思考,Apache 2.0 许可证容许开发者们在应用开源产品时,能够自行批改代码且无需把更改回馈给上游。但亚马逊抉择了将代码批改和最佳实际踊跃回馈给 Lucene 社区以帮忙与之相干的其余我的项目。并且亚马逊的工程师们始终在加大参加开源我的项目的力度以更好地服务客户,即便在搜寻等可能发明竞争劣势的战略性畛域也是如此。

亚马逊曾经向 Lucene 提出了多项重要的改良,包含:

对 Lucene 索引代码进行的重大低级别更改, 实现并发“更新”和“删除”,使得在反对并发执行的硬件上的执行效率极大晋升;

建设自定义词频索引,将行为信号引入排名根据中(例如顾客在搜寻某个商品后可能的行为);

泛滥谬误修复,并向上游分支推送更改。

Open 3D Engine

  • 我的项目主页

Home

  • 我的项目地址

https://github.com/o3de/o3de

游戏、模仿开发人员对咱们说,从头开始构建 3D 工具老本昂扬,须要数年的开发工夫,并须要大量的资源来保护。要么将大部分资金破费在反复做他人或者本人曾经做过的事件上,要么只好应用那些难以定制的专用解决方案。他们想要更多的抉择,帮忙他们在生产过程中实现合作、自定义和创造性管制。

2021 年 7 月 7 日亚马逊官网公布一款模块化的、开源的、跨平台的 3D 引擎 Open 3D Engine (O3DE),为从 3A 级游戏到电影品质的 3D 世界再到高保真模仿提供能源。这是一个开源我的项目,没有费用或者商业任务。O3DE 应用了 Apache 2.0 许可,并由 Linux 基金会治理。

O3DE 的开发初衷

故事须要从 2016 年亚马逊推出 Lumberyard 游戏引擎开始。Lumberyard 提供了完全免费、源代码可用的实时 3D 开发引擎,以便通过星散成进行疾速构建、部署和扩大。过来几年中,通过一直地依据使用者新的需要进行改良,终于构建了功能强大的组件实体零碎和备受欢送的 Script Canvas 可视化脚本引擎。亚马逊为此收买了 Emotion FX 动画编辑器,创立了模块化 Gem 零碎,并施行了许多 Twitch 和亚马逊云科技集成。

要想提供世界一流收费 3D 渲染工具,Lumberyard 还不够,于是亚马逊借助 Lumberyard 的构建教训,在此基础上进一步的迭代改良,实现了更好的合作和创新性管制,在 2021 年公布了 O3DE。区别于传统游戏引擎整体式的构建设计,O3DE 被设计为具备可扩展性的模块化引擎,并采纳凋谢的、标准化工具。在此基础上,咱们增加了预置零碎、新构建零碎、可扩大 UI、新的云属性的性能、大量数据库优化、新网络性能等等。另外咱们还增加了全新的基于物理渲染 (Physically Based Rendering – PBR) 的渲染器,它可能通过光线追踪和 Gi 反对实现前向渲染和提早渲染。

O3DE 的设计

模块化

借助 O3DE 的模块化架构增加新性能非常简单,这样开发人员就能够继续翻新。

O3DE 引擎被设计为模块化引擎,简直所有引擎部件都是一个库。因而开发人员能够独立替换图形渲染器、音频子系统、编辑器、语言反对、网络堆栈、物理零碎和其余库,而不影响其余库。外围引擎模块和任何附加组件或插件统称为“Gem”。开发人员能够通过引入 30 多种性能和工具中的任何一种来精简我的项目,也能够将这些性能和工具作为独立库来施行。如果开发人员曾经领有引擎并心愿缩小技术债权或更新代码,能够从开源我的项目中轻松抉择所需的性能,而后将其施行到本人的技术堆栈中。他们能够创立并合并本人的堆栈。

引擎即 SDK

便于自定义引擎组件,并依据须要用特定自定义模块替换预构建组件。

Lumberyard 开发人员会发现引擎曾经产生了很大的变动。它的构建相似于 SDK,因为对于引擎模块和 Gem,它能够以预编译的模式提供,这可被视为是一种“引擎即 SDK”办法。同样,在我的项目发生变化时,不须要从新编译预编译的库或 Gem。而且,当新引擎版本公布时,开发人员能够更新外围 Gem,只需解决我的项目代码自身的编译问题即可。

Atom 渲染器

另一个重大变动是 Atom 渲染器,正如预期的那样,它作为 Gem 交付。该渲染器通过提供基于物理的古代渲染器 (PBR) 来反对多个平台,该渲染器合乎 ACES 色调空间规范并齐全反对 Vulkan、Metal(开发中)和 DirectX 12 的光线追踪。Atom 随附全局光照 (GI) 和前向 + 渲染,开箱即用,并反对提早渲染管道。与 O3DE 自身一样,Atom 具备模块化、可编写脚本和数据驱动等特点。亚马逊云科技甚至为它编写了一种全新的着色语言,称为 AZSL。这种语言利用 Atom 的数据驱动性能,不便开发人员随着新硬件接口的呈现不断创新。同时,Atom 是开源且收费的,就像 O3DE 中的其余所有性能一样。请参阅这篇博客,具体理解 Atom 渲染器:

网络

O3DE 中蕴含了全新的网络堆栈,它具备高度灵便的数据驱动模型,反对 TCP/UDP,并在简略的 API 背地形象了低提早传输层。该堆栈反对加密和压缩,并具备内置模拟器,用于提早、抖动、从新排序和失落。为了确保最低提早和最高保真度,它反对通过无序不牢靠的数据复制进行实体复制、本地预测提早弥补、针对服务器权限的向后协调,及反对主动去同步检测和修改的可拆分玩家行为。为了确保开发人员能够应用不同的服务器型号,该堆栈反对开箱即用的玩家托管服务器和专用服务器型号。请参阅这篇博客,获取更多开发详情:

O3DE 的倒退和将来

开源敌对型构建零碎

对于开发人员来说,模块化还必须易于了解并容许疾速开发,因而,咱们决定将整个构建零碎移到开源 CMake 零碎中。这一抉择为各种 IDE(例如 Visual Studio、XCode 等)提供了更好的 CTest、插件库、剖析、编辑并持续、疾速代码生成及本机我的项目生成的反对。这种新办法通过适当的依赖关系树来构建所选的指标,并确保只从新构建理论的依赖关系,以便进步迭代开发的速度,进而节省时间。这种模块化个性还容许咱们简化我的项目和 Gem 治理,办法是:删除所有二进制格局,而后将其移到可应用 CMake 编写脚本的人类可读的 JSON 文件。因而,只需简略地更改 JSON 文件中的某一行,即可在我的项目中增加或删除 Gem。通过博客具体理解 Lumberyard 构建零碎的将来:

更快、更轻、性能更高

相较于前一代的 Lumberyard,O3DE 更轻便、速度更快、性能更高。当初的版本曾经删除了超过 200 万行旧代码冗余,为开源做好来筹备。

创立了新的高性能数学库,这些库利用古代 CPU 和以后 SIMD 指令集。数学是精彩游戏和模仿的外围,它提供了使用者、贡献者和社群领有十分松软的工作根底。最终后果将是,帧率进步,平台反对失去改良(尤其是在 ARM 设施上),准确性进步,及可用于动画、特效和游戏运行的计算资源减少。毕竟,3D 引擎中的简直所有内容都与数学无关!请参阅这篇博客,具体理解咱们的高性能数学工作:

生产力和可扩展性

工具和管道施行对于简化生产所需的工夫同样至关重要。为了帮忙减速自定义,它被扩大了 UI 工具,它应用可拜访代码接口的 Python 扩大和 Qt 来创立自定义编辑器组件。通过新的步骤前和步骤后 Python 绑定极大地更新了资产创立,以容许 FBX 和资料解决的动静解决和自定义行为。这些绑定使技术类游戏艺术家可能编写可拆分、调配或从新定位资产的 Python 脚本,以及从任何输出源创立自定义资料。

许多其余性能也产生了变动,以便社群以新形式对其扩大。Script Canvas 当初反对通过将来本机代码反对编译为 Lua,并通过可扩大行为上下文管理器进行脚本绑定。O3DE 终于曾经从 Lumberyard 治理游戏外部资产的“切片”模型转向了大家都很相熟的预制模型。O3DE 模块化标准接口使开发人员可能针对其余 Gem 接口执行间接函数调用,并提供 IDE 主动实现反对,这样使得开发人员可能在本人的我的项目中发现和施行性能(无论是整个还是局部性能)。

小结


对于亚马逊云科技来说,咱们将持续与 Linux Foundation、合作伙伴和大学单干,以帮忙实现更多翻新,发展令人兴奋的行将发表的年度 O3DE 新流动,以及举办寰球行业展览和骇客马拉松。咱们心愿任何人都能够利用这项开源技术提供的游戏模仿开发平台,疾速构建更加精彩的游戏和实时模仿。咱们置信当初正是倒退 3D 可视化和工具业务的现实机会,咱们期待更多的开发者退出到这个我的项目中来。

咱们会在下一篇分享中,解读指引亚马逊开源文化的另一领导力准则——翻新简化。你将会理解到咱们在这一准则领导下倾力打造的两款开源产品 Bottlerocket 和 Firecracker。

欢送继续关注 Build On Cloud 微信公众号,理解更多面向开发者的技术分享和云开发动静!

举荐浏览


  • 单干、参加、让开源更易用 | 亚马逊的开源文化
  • 机器学习洞察 | JAX,机器学习畛域的“新面孔”
  • 机器学习洞察 | 一文带你“讲透”JAX

作者郑予彬亚马逊云科技资深开发者布道师,20 年 ICT 行业和数字化转型实际积攒,专一于亚马逊云科技云原生、云平安技术畛域。18 年架构师教训,致力于为金融、教育、制作以及世界 500 强企业用户提供数据中心建设以及软件定义数据核心等解决方案的征询及技术落地。

亚马逊云科技解决方案
基于行业客户利用场景及技术畛域的解决方案
分割亚马逊云科技专家

正文完
 0