共计 2624 个字符，预计需要花费 7 分钟才能阅读完成。
数字化转型趋势下，各行业对数据生产力的摸索与谋求逐渐进入深水区。事实的问题是，企业数据仓库存储、数据湖多种技术并存的场面将长期存在，如何能力解脱技术协同的内耗，让大数据直通生产力的此岸？
8 月 11 日下午，网易数帆与华泰证券携手于线上举办企业级流式湖仓服务 Arctic 开源发布会，发表以开源的 Arctic 欠缺现有数据湖底座，拓展数据平台的边界，改善产品、数据孤岛和流程标准割裂带来的低效和老本节约，推动湖仓一体、流批交融落地，实现数据生产力，驱动业务价值。
Arctic 开源：不魔改，不关闭，推动数据生产力落地
面对网易的多元化业务、多元化技术，网易数帆在推动数据生产力时遇到了文章结尾提到的问题，但网易数帆从基础设施、数据研发、数据中台到数据产品，建设了一套欠缺的大数据技术体系，并推广应用到金融、批发、流通、制作等行业三百余家客户。
网易数帆大数据产品线总经理余利华示意，这成绩得益于网易数帆构建大数据体系时的两大技术准则：开放式架构和开源。开放式架构采纳模块化设计和大量开源组件实现，这使得该体系能力全面、生命力强，同时建设成本低。当然这也带来了应用简单、保护简单的问题，而网易数帆通过融入开源社区解决这个问题，典型的如通过开源 Apache Kyuubi 构建对立 SQL 网关，为数据湖提供对立的入口。
参加到金融行业数字化转型，让网易数帆发现了新的挑战：金融企业心愿交融实时数据湖与数据仓库，打造实时数据中台撑持其数字化业务翻新。这实质上正是湖仓一体的思路，但目前的支流数据湖技术等只解决了更新、大表拜访性能、流式生产等问题，依然遗留小文件导致性能损耗、兼容性和散失更新等性能和易用性相干问题，而开源社区尚未呈现对应的解决方案。这就是网易数帆研发并开源流式湖仓服务 Arctic 我的项目的间接起因。
Arctic 是搭建在 Apache Iceberg 之上的流式湖仓服务（Streaming LakeHouse Service）。通过 Arctic，用户能够在 Flink、Spark、Trino 等引擎上实现更加优化的 CDC、流式更新、OLAP 等性能，联合数据湖高效的离线解决能力，Arctic 可能服务于更多流批混用的场景；同时，Arctic 的构造自优化、并发抵触解决以及标准化的湖仓治理性能，能够无效缩小用户在数据湖治理和优化上的累赘。
余利华示意，秉承开放式架构准则，Arctic 立足开源数据湖，回绝魔改，不绑定计算引擎，重视与传统数仓 Hive 的兼容。这是继 SQL 对立入口之后，网易数帆大数据体系再次在存储层面实现对立，这使得数据中台体系能够无缝扩大到实时场景，企业数据生产力的施展将不再被孤岛所困扰。金融行业的利用实际，也验证了这一思路的价值。
Arctic 设计：重塑老本、性能和数据新鲜度的均衡
网易数帆大数据实时计算技术专家、湖仓一体我的项目负责人马进进一步介绍了 Arctic 我的项目的指标、个性、布局以及给开源用户带来的价值。
马进示意，Arctic 的定位是流式湖仓服务，流式强调向实时能力的拓展，服务则强调治理、标准化度量，以及其余能够形象到根底软件中的湖仓一体能力。
以后数据湖技术虽多，提供的都是各种数据湖格局，而非真正的湖仓一体平台。这些格局曾经存在于企业环境，Arctic 作为服务能够去适配不同的数据湖格局，使得企业无需放心数据湖技术的选型问题，继续优化数据分析能力，也让数据流治理变得简略。
在能力上，Arctic 不仅提供了基于主键高效地流式更新，数据主动分桶、构造自优化的个性，还反对将数据湖和音讯队列封装成对立的表，实现比传统计划更低提早的流批一体，从根本上优雅地解决性能问题。另一方面，Arctic 还提供流式数仓标准化的度量，dashboard 和相干管理工具，并为流批并发写入提供事务性保障。
在架构上，Arctic 设计简洁，只有 AMS、optimizer 和 dashboard 三个组件，在数据湖和计算引擎之间提供湖仓一体落地所需的能力，但却反对 Spark 和 Flink 读写及 Trino 查问，百分百兼容 Iceberg / Hive 的表格局和语法，这使得它的应用老本很低。
马进还强调了 Arctic 定位的深层意义：“当咱们将数据湖的能力拓展到实时场景，老本、性能和数据新鲜度三者的关系将出现更为简单和奥妙的状态，Arctic 的服务和治理性能，将为用户和下层平台理清这个三角关系。”
华泰证券：Arctic 助力金融数智中台实时湖仓欠缺
华泰证券大数据流计算技术专家陈丰介绍了 Arctic 在华泰数智中台实时湖仓建设中施展的作用。实时湖仓在华泰证券日内数据离线加工、实时关联大量历史数据、金融数据频繁修改、对立埋点加工链路等方面具备极大的价值，然而以后数仓建设面临流批链路离开建设、纯实时业务逻辑简单、数据存储不对立、数据更新简单以及演进难等五大问题。
“业界给出了 Iceberg、Hudi 等解决方案，但咱们业务、平台须要的不仅仅是繁多的开源数据湖组件。”陈丰说，华泰证券对实时数据湖建设设定了流批一体、高性能低提早、兼容现有 Hive/Impala 等多重指标。
华泰证券与网易数帆单干，引入 Arctic 实现实时湖仓，并在融资融券、埋点日志经营等场景实现了良好的利用和杰出的性能。例如融资融券场景包含了大量历史数据联结计算，应用流式计算实现逻辑简单。从离线架构到实时架构，再到实时湖仓架构的降级后，整体实现逻辑明了，且端到端延迟时间从 T + 1 天缩短到了 T +20 分钟。
社区规划：欢送所有成员奉献、分享、合作
马进还介绍了 Arctic 开源社区的布局，将为开发者、用户等成员建设一个公开、自在的寰球数据湖技术交换社区，所有成员可通过奉献、分享、合作的形式参加社区。
共建企业参加打算同步启动，华泰证券作为 Arctic 开源社区的首家共建单位，在 Arctic 我的项目开源之初率先了退出社区参加建设，不仅作为用户联合业务场景提供实在的应用反馈，也作为开发力量独特继续摸索流式湖仓技术畛域翻新性功能。
将来，华泰证券将进一步凋敝 Arctic 社区生态，与 Arctic 社区小伙伴一起，独特打造一款寰球当先的流式湖仓服务翻新产品，构建凋敝的数据湖仓生态圈。
在此，网易数帆也欢送更多的集体和企业参加到 Arctic 社区。
• Arctic 文档地址：
https://arctic.netease.com/ch/
• Git 地址：
https://github.com/NetEase/ar…
【点击我，即可观看开源发布会直播回放】
