关于数据库:镜舟打造行业顶级国产OLAP数据库

数据库是次要的软件载体，在 IT 基础设施架构中处于外围地位，与操作系统、中间件独特形成计算机系统最根底的三大外围软件。随着数字经济时代到来，数据量爆炸式扩张，国产化代替减速，国产数据库正迎来政策红利和微小的倒退时机，数据库产品也正经验新一轮改革。

随着 5G、云计算、大数据、AI 等技术的倒退，寰球数据量出现爆发式增长。到 2025 年，寰球的数据量能将达到 175ZB（Zettabyte），其中近 30% 的数据须要被实时处理。2019 年到 2025 年，CAGR（均匀年复合增长率）达到了近 30%。

IDC 预计 2024 年，中国剖析型数据库的整体市场将达到 521.4 亿元，复合增长率为 27.7%。

（数据起源：IDC、爱剖析测算）

目前，国产数据库曾经逐渐从“可用”步入“好用”阶段，在政务、金融、制作、互联网等行业都失去了大规模的利用。镜舟数据库 抓住了国产数据库倒退的时机与信创浪潮，乘风而上，一直变革，在技术支持、解决方案、生态建设、售后保障等方面达到了企业级客户的要求。做到了真正的“自主可控，稳固易用”，助力国产数据库的迭代与倒退。

总的来说，镜舟数据库有以下 三大劣势：

第一，具备“极速对立”和“稳固 易用”的个性 。镜舟数据库提供了 金融级的高可用性 ，元数据和物理数据以多正本的模式进行存储，保障元数据多数派节点可用。当节点产生故障时会主动在可用节点上补⻬正本，确保集群稳定性。用户能够按需配置正本的地理位置、数量等策略以满足不同的容灾级别要求，确保在线业务的 稳固可用。

第二，国内 生态欠缺。镜舟已与大数据解决方案的生态上下游，包含兆芯、鲲鹏、海光、飞腾、统信、帆软、奥威、永洪、思迈特等生态企业实现产品兼容互认证，笼罩从芯片、服务器、操作系统到 BI 的多款产品。在与多方的适配测评中，镜舟数据库均顺利完成装置，展现出良好的兼容性，同时产品整体运行稳固，性能体现优异，可能满足用户的外围需要。

第三，研发上 自主可控 。镜舟的研发团队，绝大多数都曾负责过行业头部企业级数据库的建设，领有顶尖的技术和丰盛的教训，团队和产品实力都曾经经验了 200 多家头部客户的打磨，落地功效卓越。同时，镜舟也领有齐备的售后 DBA 团队，能够做到7*24 小时 全天候应急响应。全国在六地有研发核心和常识核心，如客户有非凡需要，咱们可派专家到现场保驾护航。

接下来，咱们将从产品力和客户胜利两个方面具体介绍镜舟数据库。

1. 从 StarRocks 到镜舟，继续迭代降级的产品力

基于现存数据库的种种痛点，镜舟数据库引入 StarRocks 的理念，实现 OLAP 分层引擎的对立，与原有架构大致相同，数据通过上游的多种数据源和采集工具写入 Kafka 中，在 Flink 中进行 ETL 的转换，再实时写入到 StarRocks 中。在 StarRocks 中，咱们能够应用宽星型（宽表及星型）或者预聚合模型灵便的做业务建模。

StarRocks 在大数据生态中的定位十分清晰，是一款 MPP 架构的剖析型数据库。StarRocks 可能撑持 PB 级别的数据量，领有灵便的建模形式，能够通过向量化引擎、物化视图、位图索引、稠密索引等优化伎俩，去建设极速对立的剖析层数据存储系统。

从社区来看，StarRocks 产品在近一两年之内获得了不少成就：GitHub 的星数达到了 4100 多，PR 数近 13000，社区的参与者超过了 7000 人，社区的贡献者超过了 200 人。到目前为止，通过企业客户或者用户在应用过程中的一些举荐，取得了 200 多家 10 亿美金级以上大企业的利用。

镜舟是基于 StarRocks 开发的闭源商业化产品，产品成立在 2022 年 9 月，经营的主体是北京镜舟科技有限公司。咱们的产品是基于 StarRocks 开发的商业化产品，研发过程中用到 StarRocks 开源代码，也有本身闭源的局部，在技术支持、解决方案、生态建设、售后保障等方面达到了企业级客户的要求。“镜舟”这个名字，来源于这样一个期待：以人为镜，以梦为舟，不负韶华，将来可期。

镜舟数据库在性能和技术支持层面，绝对于 StarRocks 开源产品要丰盛得多，能够从以下几个维度开展：

1.1 镜舟数据库产品个性

1. 极速全场景剖析引擎，实时查问返回

镜舟数据库采纳 MPP 分布式执行框架，从而使单个查问的性能能够随集群的程度扩大而一直晋升。同时，全面向量化执行引擎也充分发挥了 CPU 的解决能力，通过全面向量化引擎，镜舟数据库将查问性能整体晋升了 3—10 倍。

此外，镜舟数据库 自研的 CBO 针对自有的全面向量化执行引擎进行了深度定制和翻新，使镜舟数据库能比同类产品更好地反对多表关联查问，特地是简单的多表关联查问，让全面向量化引擎可能施展极致的性能。

2. 流批一体，实时数据更新

镜舟数据库可能反对秒级的导入提早，提供准实时的服务能力。Apache Kafka、Apache Flink、HDFS 等数据源均可平滑导入。通过主键模型，用户能够在不就义查问性能的前提下，对数据执行高效地 UPSERT 类操作。目前曾经广泛应用于订单状态更新、TP 数据库同步、多流 join 写入宽表等场景。聚合表和智能物化视图能够在数据导入时实时实现数据更新计算，无需额定保护。在查问时，镜舟数据库可能主动将查问改写至适当的物化视图来减速查问，无需额定申明。

3. 丰盛的大数据生态，湖仓一体

镜舟数据库通过灵便的元数据缓存及同步机制，充分利用向量化引擎的劣势，作为数据湖的实时查问引擎，可提供极速、实时的数据湖剖析体验。此外，还反对联邦查问，可无缝同步内部 catalog，包含 Hive、Iceberg、Hudi、Delta lake 的表面，实现离线和实时的对立、湖和仓的联邦剖析，满足跨引擎查问的性能。在生态对接上，镜舟数据库反对规范 SQL，兼容 MySQL 协定，适配各类支流 BI 工具。

4. 架构简略，运维便捷

镜舟数据库的架构十分简洁，整个零碎的外围只有 FE、BE 两类过程，不依赖任何内部组件。同时，FE 节点与 BE 节点均反对在线程度扩缩容，帮忙用户升高应用老本。扩容过程中数据主动在节点之间平衡，无需人工干预，防止了简单的保护过程。通过资源隔离的性能，让用户可能更加高效、正当地调配和利用集群资源。

同时，镜舟数据库还提供了Mirrorship Manager 可视化治理平台，能够帮忙用户通过 web 界面一键实现集群部署降级、数据迁徙、告警及监控配置，大幅度降低了集群的保护老本。同时提供交互式查问界面、可视化查问执行剖析、慢查问诊断等性能。

性能是数据库的要害，基于业内最权威的测试汇合 SSB、TPC-H、TPC-DS 等，咱们将 StarRocks 与 Clickhouse、Druid、Trino、Snowflake 等产品进行了比照测试，StarRocks 的性能程度远超竞品，是同类型产品的 3 倍到 8 倍，也正是因为有这样的极致性能，播种了比拟好的市场口碑、比拟多的用户认可。

1.2 镜舟数据库行业解决方案

所谓国产数据库的破局，其实就是扩大国产数据库的市场份额，让中国的企业都用上自主研发的数据库。那么镜舟数据库是以怎么的视角来面向中国的各个行业并提出解决方案呢？基于数据分析 SDAF 方法论，咱们能够用来论述以数据为核心来驱动业务倒退的场景笼罩能力。分成四个阶段：

第一个阶段是业务感知（Sense）： 这是企业在做数据经营或者说 OLAP 数仓选型过程中所要解决的。首先要去剖析和洞察，我到底要抉择什么样业务或场景来去利用这样一个技术。

第二个阶段是策略制订（Decision）： 把指标集定义进去 。

第三个阶段是精准口头（Action）： 如实时剖析、营销中的精准触达等需要。咱们会抉择肯定的数据集去测试。

最初是反馈迭代（Feedback）：依据测试后果去做一些反馈和迭代，从而建设残缺的商业和业务闭环。

借助镜舟团队以及和客户一起打磨进去的教训，次要洞察了这八个行业：金融、批发、制作、物流、电商、游戏、汽车出行和一些其余的泛互联网客户。

本文中，咱们次要剖析一下镜舟数据库是如何助力国内的金融、物流、制作、汽车这四个行业的。金融行业： 镜舟数据库以弱小的实时导入和剖析的能力，可灵便应答实时和离线剖析的简单场景，全面助力银行、基金、保险、证券等企业用户，在固定报表、用户画像、稽核审计、风控治理等业务场景极速化降级、全面欠缺金融机构数据系统的构建。

物流行业： 在物流行业，运单场景是最典型的场景。基于对时效的需要，物流延长出“限时达、当日递、次晨达、次日递”等多种类型，物流企业对实时化剖析的要求越来越高，而原有平台架构的查问性能并不能跟上需要。镜舟数据库提供极速查问性能，并可能对立 OLAP 剖析层，部署运维简略上手容易。在 OLAP 多维分析平台工具的理论服务中，实时体验和灵便剖析成为镜舟数据库最大的亮点。

制作行业： 制作企业数据孤岛问题重大，镜舟数据库提供多种导入形式，并反对以表面形式对多源数据进行联邦查问，高效对接多域多零碎数据，同时反对离线与实时剖析，实现 OLAP 查问引擎的对立，笼罩自助 BI 平台、品质实时追溯场景，实现数据价值最大化。

汽车行业： 智能汽车是集环境感知、布局决策、多等级辅助驾驶等性能于一体的综合零碎，其中最为典型的是 IoT + 互联网场景。在业务决策中，除了会产生各种业务零碎的数据、APP 埋点数据外，还须要思考汽车应用过程中传感器产生的海量时序信号数据。依赖镜舟数据库弱小的 OLAP 剖析能力，可满足汽车售后保护、OTA 降级、车辆的健康状况检测、晚期预警以及维修保养等各种需要。

1.3 产品资质、荣誉与客户代表

目前镜舟曾经与 头部国产芯片、操作系统、 BI 产品等厂商 实现了产品兼容认证，同时也基于自主研发申请了专利。因为产品竞争力强、客户笼罩多，产品及客户案例屡次入选行业头部奖项及报告。

目前总共有 200 多家 10 亿美金级以上的客户，笼罩了支流的互联公司，阿里、腾讯的全系、京东、小米、美团、小红书等等，也蕴含垂类的游戏、电商、物流、教育、金融、制作、批发等行业头部企业，以下是列举。

3. 镜舟生态策略布局与客户胜利体系

3.1 全面的生态策略布局

咱们与寰球云计算领导者亚马逊云、阿里云、腾讯云，以及行业当先的合作伙伴达成策略单干，独特打造解决方案，兼容适配超 10 家上下游产品。基于更开源凋谢的生态，在社区共建、产品上下游协同以及本地化服务上和搭档共谋倒退，以一直优化的性能和技术、更极致的产品体验服务用户、回馈用户。

3.2 四位一体的企业级客户胜利体系

咱们客户胜利团队分成 售后 DBA 团队、解决方案核心和 客户胜利经理 团队 ，他们与 产研团队 造成十分好的双轮驱动和配合。建设四位一体的客户胜利体系，其目标就是通过业余的服务，让客户更好地基于咱们的技术和产品继续发明业务价值，成就客户，实现共赢。

通过四位一体的客户胜利体系，咱们也能取得客户最一线的需要，从而推动产品一直降级。到目前为止，咱们所有的产品 feature，都是通过市场和客户取得需要之后研发进去的。同时，这些 feature 也会通过客户胜利团队的一直致力，更好地推向客户的具体利用场景中去。

通过近一年的建设经营，咱们的客户胜利体系曾经能提供 7*24 小时的专家级反对、线上培训、近程定期运维巡检，以及 客户胜利经理 定期回访 。用户问题在10 分钟到一个小时内 必然有人响应及解决；客户胜利经理 均匀两周会 与客户开一次会，探讨最近应用的状况，以及将来可能的需要；解决方案团队依据用户反馈的信息，优化解决方案、抽取需要；研发团队推动镜舟新的产品 feature，从而服务更多的用户和客户。

从后期征询，到 POC 测试，到我的项目布局与启动，到我的项目验收与客户培训，到继续的客户胜利服务，到继续的满意度回访，客户胜利体系能够笼罩全过程。这个 大循环是依赖于客户胜利体系标准化的人员能力和标准化的服务体系。咱们认为这样才叫做真正的 “客户胜利”。

继续迭代更新的产品力到全面粗疏的策略布局与客户胜利体系；从弱小的竞争力到全面的生态策略布局与四位一体的客户胜利体系，镜舟数据库的实践证明，国产数据库可能可能应答数字化时代的种种挑战，克服传统数据库的层层痛点，在国产化的道路中开拓出一条“极速对立”的破局之路。