作者：业余钻研的爱剖析 ifenxi
近年来，随着银行业务场景的不断丰富、业务规模的一直扩张，用户线上线下交易大幅回升，数据量与数据品种更加丰盛，大量创新型数据分析和利用场景呈现，对剖析型数据库的存储与计算能力提出了更简单的需要，尤其在对实时数据价值的深刻开掘、数据库查问与剖析性能的进步上提出了更高要求。为满足以上需要，银行纷纷开始重塑数据库体系，对已有剖析型数据库进行革新，在撑持业务需要的同时简化架构。
近日，专一于数字化市场的钻研咨询机构爱剖析 深刻调研了行业中一批国内当先的银行数字化转型实际案例，围绕 实际当先型、案例创新性、利用成熟度、价值发明 四个维度对多个实际案例进行评比，通过多轮评比与角逐，由 StarRocks 提供技术支持的 “中原银行 OLAP 全场景架构解决方案”案例凭借其残缺且个性化的实施方案、卓越的我的项目成果入选优良翻新实际案例。该案例中，中原银行借助 StarRocks 对数据分析架构进行革新降级，构建了全新的数据分析平台，从而进步用数效率，赋能银行经营治理与业务倒退。
#01
数据量激增，业务场景多元化，中原银行数据平台需降级
—
中原银行成立于 2014 年，是河南省惟一一家省级法人银行，往年经改革重组后，该银行总资产规模已冲破 1.2 万亿元，下辖 18 家分行，有 400 余家营业网点，2 万余名员工以及 17 家从属机构，目前已成为河南省首家资产超万亿的城商行。
随着业务一直扩张、数据量的高速增长以及业务逻辑复杂程度的一直晋升，银行须要更加疾速地响应客户，为其提供更加精准的服务，即应用实时数据进行客户洞察，以帮忙银行经理与业务人员做出业务决策，进步管理水平。为此，中原银行搭建了一站式商业智能 BI 平台，该平台分为客户行为剖析零碎知秋、一站式报表平台鲁班、一站式大屏平台鸿图和自助剖析平台云间四大利用零碎，总用户超一万人，月活用户在 3000 以上，月均点击次数为 20 万以上，用户规模大且应用频率高。
为反对 BI 平台的疾速高效工作，中原银行还搭建了残缺的数据平台。该数据平台分为数据源、数据传输、数据存储计算、数据服务与数据利用五大部分。数据源是通过 Oracle 数据库对外围数据、信贷数据、绩效数据等进行存储。数据传输次要依赖中原银行自主研发的百川离线同步平台与实时传输 AR 平台。存储计算层次要分为数据湖、离线数仓与实时数仓三局部。其中，数据湖对半结构化数据、非结构化数据和局部系统日志与历史数据进行存储；离线数仓是基于 Gauss DB 实现跑批作业，对数据进行层层加工传输到读集群中以供报表查问；实时数仓则是对实时数据进行解决辅助进行实时决策。数据服务次要为对存储的报表、剖析计算的数据进行查问。数据应用层面向银行客户经理，包含商业智能 BI 平台与业绩剖析等利用零碎。
（中原银行革新前的 OLAP 平台架构）
尽管已有商业智能 BI 平台与大数据平台曾经可能解决中原银行大部分业务问题，但随着数字化转型逐渐步入深水区，各业务场景对用数效率提出了更高要求。具体体现在：
- 查问效率亟需进步。 中原银行原有的基于 MPP 和 Hadoop 构建的数据平台查问效率较低，尤其是多表关联查问效率，BI 平台的均匀耗时超 10 秒，知秋零碎均匀耗时长达 20 秒以上，重大影响了对客户的深刻洞察剖析与对银行经营情况的治理。因而，该银行须要进步对业务、经营治理等数据的查问能力，尤其是对简单的关联数据的查问能力，为其良好的剖析性能提供保障。
- 须要降级数据平台架构，深刻开掘实时数据的价值。 基于原有的数据平台架构，仅能反对 T + 1 小时级别的准实时报表，须要期待最新的小时工作跑批实现，才能够查问最新工夫的数据，难以满足银行在客户剖析、风控治理等场景下的实时查问与剖析需要。并且，原有架构中须要通过 Oracle-AR 数据传输平台 -Kafka-Flink-Kafka 的长链路能力实现对实时数据的查问与剖析。因而，银行须要全面降级数据平台架构，尤其是数据分析层的架构，从而满足业务增长带来的实时需要。
- 须要对立数据架构，升高运维老本。 原有数据平台流批链路简单，运维老本高，且实时数据与离线数据的存储并不对立，存在冗余，造成存算资源的节约。因而，中原银行须要简化数据平台架构，对离线数据与实时数据进行对立高效治理。
#02
多维度综合考查，最终抉择 StarRocks 降级 OLAP 架构
—
基于以上需要，中原银行决定对原有数据平台中数据分析架构进行全面降级与革新，以保证数据的对立治理与高效利用，晋升实时响应能力。
通过调研了市面上的支流的两款 OLAP 数据库产品发现，ClickHouse 在单表查问和大宽表查问体现优良，查问提早也比拟低，然而 Join 性能较差，且不易保护；StarRocks 在固化查问和灵便剖析性能体现不错，多表查问性能也比拟优良，而且同时反对实时与离线导入剖析场景。与此同时，StarRocks 剖析型数据库具备流批一体、可能向量化执行、运维简略、查问效率高、兼容性好且可能满足高并发查问要求六大劣势，恰好满足了中原银行构建极速对立的数据分析架构的业务需要。
具体而言，该数据库反对实时和批量两种数据导入形式，以实现极速对立剖析；全面采纳向量化技术，适配 CPU 的 SIMD 指令集等伎俩，充分发挥其并行计算能力；装置部署容易，高可用易拓展，且扩缩容期间无需停服；可能智能物化视图，通过智能 CBO 优化器提供亚秒级的多维分析能力；能兼容 MySQL 协定语法与 MySQL 生态，使用者可疾速上手；同时，还能为客户提供高性能高并发的交互式剖析体验，查问 QPS 高于平均水平。六大劣势相辅相成，恰好满足了中原银行构建极速对立的数据分析架构的业务需要。
（中原银行 OLAP 查问引擎选型比照表）
通过 POC 测试 StarRocks 剖析型数据库的数据导入性能、查问响应速度、与知秋客户洞察零碎匹配水平发现，该数据库可能满足极其业务的数据导入性能要求，大幅度提高知秋零碎转化剖析、客群分群查问、沉闷用户查问等利用查问效率，且与银行原有 MPP 数据库相比，均匀性能能够进步 3.87 倍。
StarRocks 以“打造新一代极速全场景 MPP 数据库，面向简单查问、高并发、实时剖析等各类场景以达成数据价值的最大化”为准则，一直打磨产品，行将面世的 StarRocks 3.0 致力于反对用户同时进行极速剖析与极速数据湖剖析。StarRocks 还保持倒退生态，多方单干以壮大社区，阿里云计算平台事业部产品解决方案总经理陈立就曾示意“StarRocks 是阿里云在数据湖 3.0 云原生化、弹性化、实时化的重要产品之一”。截至目前，StarRocks 已帮忙超过 170 家大型企业构建了全新的数据分析能力，生产环境中运行的 StarRocks 服务器数目达数千台，其社区用户也已超 7000 人，吸引几十家国内外行业头部企业参加共建。
综合以上后果，中原银行最终抉择了产品成熟度高、技术栈与银行支流技术相符、功能完善、安全性高、查问效率高、社区活跃度高的 StarRocks 剖析型数据库。
#03
StarRocks 助力中原银行分阶段降级 OLAP 架构
—
实现选型后，中原银行开始进行 OLAP 架构革新。此我的项目分为三个阶段：集群搭建、离线业务实际与实时业务实际。
（数据分析架构革新门路）
集群搭建
集群搭建是革新前的筹备工作，包含与离线传输平台百川、流计算平台的对接，StarRocks 集群的布局与搭建，机器资源的申请与调配，此阶段为数据分析架构降级的有序进行奠定了根底。
离线业务实际
为解决对离线数据查问效率低与剖析性能差的问题，中原银行将固定离线报表迁徙至 StarRocks，并对知秋客户行为剖析零碎进行革新。
该银行的固定报表分为灵便剖析、透视剖析、电子表格、可视化报表四种模式，共计 2800 多张，广泛应用于对公、批发、绩效、危险、零碎指标监控多个场景下。通过更新建表语句、将原有函数转化为 StarRocks 外部函数，中原银行实现了固定离线报表的自动化迁徙。
（固定离线报表迁徙计划）
迁徙后的报表具备三大个性。首先，排序列前引入了前缀索引，可能疾速过滤数据，缩小数据扫描量，从而疾速找到起始的指标行；其次，抉择了高基数的列（如惟一的 ID）作为分桶键，保障了数据在各个分桶内尽可能平衡；最初，默认三正本，不同正本存储在不同 BE 上，保障某一机器或正本的损坏并不会影响业务查问。这三大个性既防止了数据缺失的问题，又保障了查问效率的进步。
知秋客户行为剖析零碎有获客剖析、增长剖析、留存剖析、流传剖析和特征分析五大剖析场景，但因为其剖析所需的报表多为上亿级别的大宽表，且须要多表关联查问，查问效率低，剖析性能也较差。因而，中原银行将各剖析场景也全副转移至 StarRocks 中，进步其查问响应速度；其次，对留存剖析场景进行了 Bitmap 革新，如针对中原银行驻马店分行所利用的留存剖析性能，将原有只能进行繁多条件查问或全副查问的形式降级为了 Bitmap 取交加与并集计算的模式，大大提高了客户数据查问与剖析的灵活性与时效性，也丰盛了客户行为剖析的品种。
实时业务实际
实时数据读写效率低下重大影响了对客户的深刻洞察与经营治理查问效率，因而，中原银行在原有数据平台架构上对数据存算层与数据服务层进行革新，搭建了实时数仓。
（中原银行革新后的数据平台架构）
搭建实时数仓后，数据传输不再是对立抽取到 Kafka 后再进行推送，离线数据将采纳 broker load 的形式将 T + 1 数据间接导入 StarRocks 中，通过相干 SQL 命令进行疾速剖析解决；实时数据则通过 Flink connector 的形式导入，实现 Oracle- Kafka- Flink- StarRocks 的实时链路，极大地提高了实时查问与计算的效率。同时，原有的 ES 实时维表转变成了 StarRocks 中主键模型的数据表，它反对自定义主键、指标列与秒级的导入与查问，在查问时可能返回雷同组件的最新数据，也促成了实时数据应用效率的进步。
此实时数仓架构将中原银行的离线数据和实时数据进行了对立，极大水平上缩小了数据的冗余，同时反对秒级的导入与查问，进步了业务的时效性和多样性。
#04
降级平台架构，优化查问效率，实现实时响应，晋升用数效率
—
目前，中原银行应用 StarRocks 实现了固定报表迁徙、知秋零碎革新与实时数仓建设，极大进步了银行的数据导入、查问与剖析效率。整体革新后的具体成果如下：
固定报表迁徙效率与查问效率大幅晋升。 70% 的报表能够通过自动化迁徙来实现。迁徙实现后，固定报表查问效率晋升为原来的 2.7 倍，所需工夫降落到 3 秒以内。尤其是原耗时排行 top 10 的报表，查问效率提优化了 10 倍以上，晋升成果显著。
实现自助客户行为剖析，查问效率显著进步。 目前，知秋零碎内 13 个业务场景已全副迁徙，其中，针对留存剖析进行了 bitmap 革新，查问效率晋升了 10 倍以上；其余模块查问效率均匀晋升 3 倍以上，均匀查问时效为 5.8 秒。
实时架构降级，实现秒级响应。 通过搭建实时数仓，可能实现秒级响应最新贷款等业务数据的实时查问，管理决策用数效率从 T + 1 小时转换为秒级。在实时存贷款报表利用中，业务人员可能查问到精准到秒级的最新数据，核查贷款入账工夫从均匀半小时缩减至 5 秒钟，晋升了 360 倍。
通过实时大屏，实时监控银行经营与治理状况。 基于实时数仓，中原银行极大水平的丰盛了实时大屏的利用场景。目前，智能经营增长平台能够实时监控触达转化数据；鸿图大屏能实时查看对公时点贷款、对公时点贷款的余额、对公总客户数与对公的排名状况，辅助业务人员进行实时的剖析决策；还可能实时查看当天各项目组 DevOps 研发效力流水线发版状况、发版成功率、失败率和以及排名状况。
#05
中原银行为城商行 OLAP 架构降级提供翻新实际榜样
—
中原银行作为目前我国排名第八的城商行，此次与 StarRocks 单干的降级 OLAP 我的项目为其余规模雷同、已有数据平台建设较欠缺的城商行提供了标杆。
首先，银行在革新前需深入分析业务需要，基于此进行选型。目前市面上的剖析型数据库厂商泛滥，各产品劣势不同；银行不能自觉跟风洽购，须要拆解业务需要，并联合技术适配度、安全性、社区活跃度等多维度进行考查与 POC 测试，抉择合乎业务需要、适配技术框架的剖析型数据库。该我的项目中，中原银行基于用数效率进步的外围需要，从九大维度中进行考查，最终抉择了在查问效率、技术架构与兼容性有显著劣势的 StarRocks。
其次，我的项目施行过程应分阶段分场景进行革新。对于中原银行为代表的数字平台建设曾经比较完善的银行来说，OLAP 的降级比较复杂。因而，应该依照业务场景等逻辑进行工作拆分，有布局的分阶段进行革新，进步我的项目执行效率。此我的项目中，中原银行依照业务需要将具体执行阶段划分成离线业务革新与实时业务革新，在 9 个月内实现了局部零碎的降级革新。
将来，中原银行还会携手 StarRocks 持续深刻革新与优化包含数据分析平台在内的数据平台架构，开掘更多业务场景下的实时报表，进一步摸索优化 OLAP 性能，解决数据湖剖析过程中存在 IO 提早高、数据格式无奈最优化等问题，从而在 StarRocks 上实现极速剖析与极速数据湖剖析以进步用数效率并赋能业务增长与银行治理，迈向极速对立 3.0 时代。
对于 StarRocks
面世两年多来，StarRocks 始终专一打造世界顶级的新一代极速全场景 MPP 数据库，帮忙企业建设“极速对立”的数据分析新范式，助力企业全面数字化经营。
以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 170 家大型用户构建了全新的数据分析能力，生产环境中稳固运行的 StarRocks 服务器数目达数千台。
2021 年 9 月，StarRocks 源代码凋谢，在 GitHub 上的星数已超过 3400 个。StarRocks 的寰球社区飞速成长，至今已有超百位贡献者，社群用户冲破 7000 人，吸引几十家国内外行业头部企业参加共建。