为了满足当下和将来的需要,很多公司一直降级数据平台并开发可扩大的解决方案。从现有的实际来看,尽管 Presto 具备解决海量数据的能力,但其在跨工作流的数据拜访方面优化有余。因而,数据平台工程师还须要寻找其余的计划来解决数据冗余、易出错、性能迟缓、不稳固和高老本的问题。
为了解决这些挑战,咱们提出了一个翻新架构,倡议搭配部署 Presto 和 Alluxio。
Alluxio 是一个数据编排平台,连贯计算框架和底层存储系统的。Presto 和 Alluxio 的协同工作可实现对立、弱小、高性能、低提早和低成本的剖析架构。该架构不仅有利于剖析,而且有利于数据工作流各阶段的工作,包含数据导入、剖析和建模。这个架构反对跨本地、私有云、混合云和多云环境中的多个存储系统进行疾速 SQL 查问。
寰球泛滥公司曾经利用 Alluxio 来降级其以后的 Presto 平台,包含 Facebook、TikTok、美国艺电(Electronic Arts)、沃尔玛、腾讯、康卡斯特(Comcast)等。他们把 Alluxio 集成到 Presto 技术栈中,实现了很多好处。以下将介绍为何以及如何搭配应用 Presto+Alluxio。