为了满足当下和将来的需要,很多公司一直降级数据平台并开发可扩大的解决方案。从现有的实际来看,尽管Presto具备解决海量数据的能力,但其在跨工作流的数据拜访方面优化有余。因而,数据平台工程师还须要寻找其余的计划来解决数据冗余、易出错、性能迟缓、不稳固和高老本的问题。

为了解决这些挑战,咱们提出了一个翻新架构,倡议搭配部署Presto和Alluxio。

Alluxio是一个数据编排平台,连贯计算框架和底层存储系统的。Presto和Alluxio的协同工作可实现对立、弱小、高性能、低提早和低成本的剖析架构。该架构不仅有利于剖析,而且有利于数据工作流各阶段的工作,包含数据导入、剖析和建模。这个架构反对跨本地、私有云、混合云和多云环境中的多个存储系统进行疾速 SQL 查问。

寰球泛滥公司曾经利用Alluxio来降级其以后的Presto平台,包含Facebook、TikTok、美国艺电(Electronic Arts)、沃尔玛、腾讯、康卡斯特(Comcast)等。他们把Alluxio 集成到Presto技术栈中,实现了很多好处。以下将介绍为何以及如何搭配应用Presto+Alluxio。