【点击立即报名】
8 月 11 日 ，网易数帆将举办“ 企业级流式湖仓服务 Arctic 开源发布会”，邀请网易数帆大数据产品线及合作伙伴相干负责人联袂解读对数据技术演进及 Arctic 开源的思考，介绍 Arctic 我的项目停顿、将来倒退及社区规划，分享企业湖仓一体实际成绩与心得。
数据基础设施倒退的脚步从未停歇，以后风头正盛的是湖仓一体（Lakehouse）。
湖仓一体，顾名思义是数据湖和数据仓库劣势的联合。随着企业数智化的推动，湖仓一体已不仅仅是开源社区的热点技术，硅谷顶级风头投机构 A16Z 幅员的视线核心，更是泛滥大数据商业产品家族的重要成员。
那么，湖仓一体真的会成为企业大数据基础设施的规范？咱们是否该当关注这一技术？它的将来是什么？
为什么须要湖仓一体
借用 Databricks 的定义，湖仓一体平台能同时提供 数据仓库的可靠性、弱小的治理和性能，以及数据湖的开放性、灵活性和机器学习反对 。 网易数帆湖仓一体我的项目负责人马进 认为，湖仓一体是接力 Apache Hadoop 蓬勃生态的新赛道，它的外围个性就是在数据湖上构建事务层，把数据处理和治理高级性能嫁接到低成本数据存储架构上。这是业务需要驱动的架构演进，毕竟业务数据类型及规模不断扩大，而对计算实时性的要求又更高。
以网易为例，从 T +1 离线数据生产，到引入实时化并不断完善，如引入 Apache Kudu 解决 Hive 离线数仓在实时数据更新上的有余，造成了流批宰割的 Lambda 架构（这也是业界大数据架构演进的一个缩影），而后数据孤岛、研发体系割裂以及指标和语义的二义性等问题逐步裸露，这就须要一个更加优雅的对立数据基础设施架构，也就是湖仓一体来解决。基于数据湖开源三剑客（Delta Lake、Apache Iceberg、Apache Hudi）的实现计划，则成为了热门的抉择。
网易数帆流式湖仓的翻新
只管在造词法上 Lakehouse 的确是 Data Lake 和 Data Warehouse 的缝合怪，然而要成为生产级的新技术，湖仓一体毕竟不是数据湖和数据仓库 1 +1= 2 那么简略。在马进看来，目前湖仓一体计划存在两大有余：一是所读即所写，会产生流式摄取导致海量小文件等问题；二是实时能力有余，比方基于湖仓一体的流计算提早在分钟级别。
基于此，马进率领团队研发了命名为 Arctic 的流式湖仓服务，提出了 五个设计指标 ：提供牢靠的湖仓一体服务，解决支流湖仓一体的有余，面向更多流批一体的场景，尽可能不要反复造轮子，和寻求代际型解决方案。
技术计划上 ，Arctic 搭建在 Iceberg 表格局之上，复用 Iceberg 各种性能，并齐全兼容 Hive。Arctic 面向流场景提供优化的 CDC（变更数据获取）和流式更新能力，也能够开放式地集成 MQ、KV 等中间件，向 Flink、Spark、Trino 等支流计算引擎提供流批对立的表服务，以实现数据湖和数仓的对立，并融入实时的能力，流计算提早可达毫秒级。
由此，Arctic 可视为一个 独立的实时数仓服务，用户无需关怀数据存储构造、大小和散布，或是否引入其余中间件。
流式湖仓的将来
三十年前，东方学者面对社会变迁收回“历史的终结”的感叹，但历史曾经给这一论断打脸。那么，流式湖仓又是否会成为古代大数据基础架构的起点？回顾数据分析畛域，先后呈现的数据仓库、OLAP、BI、大数据、数据中台等各种方法论，都已融入企业数据生命周期，而底层的 Hadoop 体系仍然在宽泛应用，咱们有理由置信，流式湖仓服务这一源自业务需要的设计，实现形式可能会降级，但这一思维必将长存于数据基础设施。
从 A16Z 的全景图咱们也能够看到，企业级数据基础设施架构的稳固往往随同着长时间的积淀，而 Arctic 凋谢的架构及对 Hadoop 生态的兼容，曾经预示着它的生命力。
秉承网易数帆“架构凋谢，内核开源”的理念，Arctic 行将开源！
和咱们一起探讨湖仓一体落地实际的要害因素，独特促成凋谢架构数据基础设施生态欠缺与倒退，欢送点击链接：i.163yun.com/n1pvp4086 报名加入。