华为宣布开源数据虚拟化引擎-openLooKeng可用于改善大数据的易用性

3次阅读

共计 1350 个字符,预计需要花费 4 分钟才能阅读完成。


技术编辑:徐九丨发自 思否编辑部

近日,华为正式宣布开源数据虚拟化引擎 openLooKeng,其开源社区官网也同步上线。资料显示,2019 年 11 月 19 日,华为宣布开源数据虚拟化引擎 HetuEngine(开源版本的 HetuEngine 叫 openHetu),现在,openHetu 正式更名为 openLooKeng,HetuEngine 更名为 LooKengEngine。

高性能数据虚拟化引擎

openLooKeng 是一款开源的高性能数据虚拟化引擎。提供统一 SQL 接口,具备跨数据源 / 数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力。

随着大数据技术的应用和发展,数据种类越来越多,数据分布越来越广,查询场景也越来越复杂,这使得大数据使用更加困难。为了改善大数据的易用性,华为发起数据虚拟化引擎 openLooKeng 开源项目,旨在解决上述问题:

  • 统一 SQL 接口访问多种数据源
  • 免数据搬迁,在数据所在地对数据进行处理,并且支持跨数据中心、跨云处理
  • 面向交互式、批、流等融合查询的场景(第一个版本支持交互式查询场景)

此外,该项目还提供了 Coordinator AA 高可靠、可扩展的数据源 connector 框架等能力,让用户及大数据解决方案伙伴更方便的使用 openLooKeng。

openLooKeng 使用了业界著名的开源 SQL 引擎 Presto 来提供交互式查询分析基础能力,并继续在融合场景查询、跨数据中心 / 云、数据源扩展、性能、可靠性、安全性等方面发展,让数据治理、使用更简单。

作为开源社区,openLooKeng 开源项目采用商业友好的 Apache License 2.0 发行许可证,让开发者、用户和伙伴使用更自由,并期待更多大数据领域的开发者参与到社区,共建、共享,共同推动社区的繁荣发展。

openLookeng 社区主页:
https://openlookeng.io
openLookeng 代码托管地址:
https://gitee.com/openlookeng
https://github.com/openlookeng
openLooKeng REST 接口说明:
https://www.bookstack.cn/read…

华为的开源布局

国际主流开源基金会的顶级成员:Linux 基金会的白金会员、Apache 基金会的白金赞助方、OpenStack 基金会的白金会员、Eclipse 基金会的战略会员。

开源社区 / 项目的贡献者:华为目前在主流开源社区中拥 200 多个 TSC、PMC、PTL、Maintainer、Committer 等席位,以及十多个董事席位服务于各开源项目。在全球第一大社区 Linux 内核社区中,华为综合贡献全球排名第四;云原生社区 CNCF,华为综合贡献全球排名第五;Docker 全球排名第 5。

通过开源 openEuler(Linux 发行版)、Mindspore(全场景深度学习框架)、SODA(智能开放的数据自治平台)、Apache CarbonData(大数据)、Apache 微服务项目 ServiceComb、KubeEdge(边缘计算)、Volcano(高性能调度引擎)等等,逐步把华为长期投资和积累的大量基础软件能力,不断完善并逐步贡献到开源社区中。

正文完
 0