关于开源:一站式全覆盖数据-IO-平台-Alluxio-与-Aunalytics-的完美结合

44次阅读

共计 1937 个字符,预计需要花费 5 分钟才能阅读完成。

“Aunalytics 云原生数据分析平台与 Alluxio 的开源数据编排软件相结合,使客户可能进行跨所有数据源的对立拜访,并驱动人工智能剖析,产出更好的答案,取得竞争劣势。”

  • Aunalytics 剖析云首席技术官
  • 汤姆·帕诺佐

√ 应用案例:对立数据拜访 + 本地计算减速
√技术栈:Spark + Drill + Hadoop + Custom AI & Analytics Alluxio /HDFS + NFS + 对象存储
√ 挑战:  拜访多个数据存储的操作复杂性 + 不同计算服务的兼容性问题
√劣势: 所有数据集中拜访 + 通过内存缓存进步性能 + 具备存储分层的硬件灵活性

  • 挑战:寻找繁多云解决方案的数字化转型鸿沟

早在 2012 年,作为一家初创公司,Aunalytics 面临着使用非常复杂的剖析环境的问题,作为一家数据平台公司,其旨在提供“深度剖析即服务”来解决对企业和中型公司而言最重要的 IT 和业务问题。Aunalytics DaybreakTM 行业智能数据集市与其数据平台的弱小性能相结合,提供具备内置查问和人工智能的行业特定数据模型,确保获取及时、精确的数据以及重要业务问题的答案。Aunalytics 在开源计算技术之上利用外部开发的剖析软件,以问答模式向客户提供丰盛的数据集市。任何业务人员,无论技术能力如何,都能够应用 Daybreak 产品,并利用自然语言解决,解构事实世界的问题,将其转化为数据查问。为了达成前述雄伟愿景,Aunalytics 团队付出了大量致力,试图打消两头市场客户在解决所谓的数字化转型鸿沟时所遇到的常识欠缺和人员不足问题,最终团队胜利地做到了这一点,但作为这些技术的晚期采纳者,团队也产生了经营开销。2020 年,Aunalytics 施行了下一代计算平台,该平台旨在通过自适应剖析软件 (Aunsight™) 将存储、计算和交付齐全离开,以便于开发和灵便扩大。该软件可能将工作负载提交给多项计算服务,而这些计算服务可从大量存储资源中获取数据。

由此,Aunalytics 团队面临两种抉择:

  1. 在支流存储环境(如 NFS、iSCSI 等)上进行集中管理,但这些环境会充斥着大量的性能、一致性和并发性问题;或者
  2. 采纳对这些零碎具备繁多拜访点的多 / 任意存储环境。
    作为采纳 Alluxio 新堆栈的代替计划,Aunalytics 评估了捆绑存储并可部署在公有云中的云计算平台,最终采纳了 Alluxio 新一代数据编排零碎,将数据 I/O 脚印集中在一项技术上,从而简化与将来更新计算引擎的集成。
  • Aunalytics 将 Alluxio 作为数据 I/O 的“一站式商店”

Alluxio 为 Aunalytics 的计算环境提供了针对所有存储数据的繁多拜访点,无论其容量、速度或存储 I/O 性能如何。这使得团队的开发人员可能专一于剖析集成,无需思考存储环境的限度或兼容性。Alluxio 是批量计算环境、动静查问环境和主产品 Daybreak 的次要数据拜访和写入机制。与此同时,Alluxio 容许 Aunalytics 团队利用现有的 Hadoop 存储、新的公有云存储以及将来的批量对象存储,实现经济高效的灵便可扩大存储。Aunalytics 防止了平台一直倒退后,反对遗留环境所带来的复杂性。

Alluxio 为数据 I/O 提供的“一站式”服务,使得 Aunalytics 团队可能从大型单体剖析环境(如 Hadoop)迁徙,同时在迁徙期间仍能够应用 hadoop 存储系统。Alluxio 还使团队可能在剖析零碎之间执行数据“直达”,其中数据能够由一个零碎写入 Alluxio,之后由一个齐全独立的非兼容零碎读取。

跨零碎共享数据已将迁徙后的数据挪动 / 复制需要升高 90%,并可缩短 30% 的计算和交付工夫。

  • 集成 Alluxio
    Alluxio 被部署为新的 Aunalytics 数据环境的一部分。Alluxio 使得 Aunalytics 团队可能发展多项新工作,但并非作为一个补充零碎来施行。Alluxio 的退出充沛满足团队对于灵活性的要求,并在此基础上构建 Aunalytics 下一代平台,而不像其余选项一样,迫使团队在采纳一个新计划时必须同时做出取舍。
  • 进一步单干
    Alluxio 从根本上实现了存储和计算的拆散,进步了大数据和 AI 工作负载的速度和敏捷性,并使得用户可能迁徙到对象存储等更新的存储解决方案,打消数据反复,从而降低成本。团队持续在 AI 工作区中应用凑近 Daybreak 产品的开源计算我的项目(由 Aunsight™ 和 Alluxio 反对)来交付汇合产品。

Aunalytics 为其客户提供集成 Alluxio 和其余数据管理技术的大量技术支持,为业务用户提供具备内置数据管理性能的开箱即用剖析解决方案。

想要获取更多乏味有料的【流动信息】【技术文章】【大咖观点】,请关注 [[Alluxio 智库]]:

正文完
 0