导读
骏伯网络是一家聚焦挪动互联网营销服务的公司，综合经营治理平台是其外围业务零碎，包含营销零碎、订单、领取以及与内部零碎的交互服务接口。为满足多元化的业务倒退需要，升高零碎间交互链路的复杂性，晋升业务连续性，以及实现降本增效的整体规划，骏伯网络抉择将 TiDB 作为综合经营治理平台的底层数据库。通过上线实践证明，TiDB 为骏伯在业务连续性、性能晋升、数据资源整合、降本增效等方面带来了显著价值。将来，骏伯将扩大 TiDB 在数据分析类业务场景中的利用，晋升数据实时剖析能力，放慢业务翻新的步调。
本文作者：骏伯网络 唐帆，PingCAP 贺美存
骏伯网络简介
广州骏伯网络是一家以数据驱动的科技公司，聚焦挪动互联网营销服务，保持以客户为核心，深耕 APP、运营商、金融保险等行业，以解决客户营销痛点为指标，为客户提供全链路营销服务。骏伯网络于 2015 年挂牌新三板，间断 5 年入选广州将来独角兽企业，已累计为超过 1000 家企业、超过 1600 款产品提供推广服务，长期与头部 APP、三大运营商以及出名金融产品进行单干，具备丰盛的客户资源。
业务痛点与数据库技术选型
1 业务简介、现状和痛点
综合经营治理平台是骏伯最外围的业务零碎，次要笼罩营销、渠道、媒介、创意等业务部门，底层数据库蕴含 OLTP、OLAP 两种，业务零碎次要蕴含营销、订单和信息展示三局部。订单数据均会回流到订单服务模块，订单胜利后会推送到下单流程，同时能够在平台中及时查看订单信息。
综合经营治理平台利用架构图
整套利用由 40 多个微服务组成，底层数据库采纳 20 多套 MySQL 主备高可用架构，部署在 4 台物理服务器上，主备穿插部署的模式。大数据分析平台采纳 Hadoop 生态，数据分析模式为 T+1 的离线模式。
综合经营治理平台是一套面向互联网用户的实时交易系统，对可靠性和性能要求较高。物理服务器的硬件故障会对生产运维和业务连续性造成较大的挑战和影响，各套数据库绝对互相独立，须要实现跨库的数据实时共享。
2 技术选型要求
为了配合零碎革新，解决业务连续性、数据扩大能力、资源利用率和性能等生产环境面对的痛点，骏伯启动了对国内多家头部原生分布式数据库的测试选型，具体的要求包含：
业务连续性
任何硬件单点故障对数据库集群无影响，在无人工干预的状况下，业务可能继续对外提供失常服务。数据库应具备原生分布式高可用能力，可依据业务重要性灵便设定数据正本数，具备异地灾备能力，可满足机房级高可用要求。
数据扩大能力
满足企业疾速的业务变动需要，反对横向扩大能力，对业务无入侵性。数据库采纳松耦合的存算拆散架构，按需灵便扩大计算或存储能力，数据可主动重均衡，通过节点扩大实现性能的线性增长。
利用通明迁徙能力
数据库可兼容和连续现有的利用架构和代码，提供数据在线的通明迁徙能力，升高利用革新和迁徙难度。
数据实时压缩能力
数据库应具备库内实时在线的压缩能力，在性能不受影响的前提下，节俭数据存储的老本。
数据可恢复性
数据库需提供物理和逻辑备份，反对可选对象粒度的全量和增量备份，可将集群复原到任何工夫点。在数据误操作的状况下，提供闪回能力。
通过多轮比照测试和业务场景的验证，TiDB 满足了本次技术选型的所有指标。骏伯网络抉择将 TiDB 作为综合经营治理平台的底层数据库。
TiDB 在骏伯网络综合经营治理平台的利用
从整体数据规模、业务拜访申请、资源高可用等维度思考，咱们制订了具体的部署计划。联合现有利用和数据库状况，咱们设计了分批业务迁徙打算，历时 3 个月胜利实现了所有利用的平滑迁徙和部署。在主核心部署一套蕴含 4 台物理服务器的 TiDB 集群，用于撑持综合经营治理平台。主核心集群通过 BR 实现数据库备份工作。MySQL 数据的迁徙工作由 DM 组件实现，以确保数据迁徙的顺利进行。将来，咱们打算在异地构建一套单正本的集群，通过 TiCDC 组件搭建数据容灾的演练环境，从而实现异地灾备。
零碎架构图
目前所有利用模块已胜利迁徙到 TiDB 集群上，第一批迁徙的业务曾经稳固运行超过半年。零碎在业务高峰期经验了验证，并胜利应答了单服务器硬件异样故障对业务连续性保障的理论考验，齐全实现了我的项目最后布局的指标。 业务峰值流量 QPS 大于 10K，沉闷连接数 400 左右，且均匀响应延时低于 200ms。
利用价值
联合零碎的理论运行成果，总结 TiDB 为骏伯网络带来的收益如下：
保障业务连续性
TiDB 原生多正本能力防止了任何单点硬件故障，为业务提供无感知的保障能力。通过跨数据中心集群灾备能力保障机房级的故障影响，充沛保障业务的连续性。
升高资源和运维投入
TiDB 内置的数据实时压缩能力，保障数据三正本的高可用。集群整体资源较原有 MySQL 主备集群实现了 20% 的老本升高。过来须要运维 20 多套 MySQL，当初只须要运维一套 TiDB 集群，整体运维投入大幅降落。
数据的实时汇聚和查问能力晋升
通过 TiDB 原生分布式和通明扩大能力，将原有 20 多套 MySQL 主备库归集到一套 TiDB 集群内，实现多业务零碎的数据实时汇聚、实时查问和数据实时变现能力。
利用迁徙通明，业务无侵入
通过 DM 工具实现从 MySQL 到 TiDB 的平滑迁徙。TiDB 对 MySQL 的兼容能力和业务无入侵性，对利用迁徙革新老本极低，在保障性能的根底上实现了利用的无缝迁徙。目前，已胜利实现 20 多套库的利用通明迁徙。
将来瞻望
骏伯网络致力于成为一家以数据服务为指标的企业，将数据服务视为外围竞争力。近年来，业务对数据服务能力提出了更高的要求：从 T+1 的离线数据分析转变为 T+0 的实时剖析成果。然而，企业现有的 Hadoop 生态框架已无奈满足新业务的数据分析需要，次要体现在技术栈简单、开发运维老本高、数据实时服务能力弱等方面。
在 2024 年的打算中，咱们旨在构建一套以 TiDB 为底座的数据实时剖析平台，以实现对数据的实时加工和对立服务能力。通过联合现有的 Hadoop 框架，咱们将打造一套流批一体化的数据湖平台，从而减速企业数字化能力的晋升。这一动作旨在无效解决技术栈复杂性、升高开发运维老本，并加强数据的实时服务能力，以更好地满足业务倒退对数据实时剖析和实时变现的要求。