关于数据库:最伟大的作品解密周杰伦新专辑背后的数据密码

18次阅读

共计 2594 个字符,预计需要花费 7 分钟才能阅读完成。

7 月 14 日晚间,周杰伦最新专辑《最平凡的作品》在 QQ 音乐正式上线,立刻成为全网最大的热点事件。作为一张“六年等一回”的新专辑,《最平凡的作品》于 7 月 8 日开启预售,截止到 7 月 18 日,已在 QQ 音乐售出超 500 万张。

当全国人民沉迷在音乐的狂欢中,对于 QQ 音乐团队来却有着更多的涵义:海 量的数据意味着更高标准的数据分析业务,底层的数据库,将迎来流量峰值期间的高并发和疾速响应挑战。同时,如何通过用户行为以及音乐内容标签数据,深刻洞察用户需要,为亿万用户带来更优质的音乐体验?是对 QQ 音乐大数据团队的挑战以及时机。

海量数据场景下,如何保障用户体验?

作为一款国民级音乐利用,QQ 音乐月沉闷用户人数超过 2.2 亿,周杰伦又是其最具号召力的歌手。从流量数据来看,专辑同名后行曲 MV《最平凡的作品》在 QQ 音乐公布 15 分钟,播放量超 120 万次,上线仅 1 小时 47 分,播放总量冲破 600 万次,分享总次数冲破 20 万,评论总次数冲破 12 万,MV 巅峰榜达成 1000 万等级认证,均突破 QQ 音乐 MV 单日数据历史纪录

从这也能够看出,作为音乐类利用,QQ 音乐坐拥海量数据,而且业务场景较多。大体来看,新音乐数字专辑上线,对于数据库来说可能面临如下挑战:

首先是 高并发低延时 的需要,流动开始的时候会有大量用户霎时同时拜访同一个歌手、同一首歌或者同一张专辑的信息,这就须要解决数据库热点更新、高并发低提早的问题。

其次是 数据库疾速扩缩容 的需要,因为流动工夫紧,霎时并发量高,须要数据库可能疾速反对多倍性能。

最初是 数据海量存储和数据安全性 的需要,因为订单数据和日志流水十分多,且数据不能失落,须要数据库既能保障数据安全又能撑持海量数据的存储。

QQ 音乐数据库运维负责人赵新强说,此次周杰伦专辑公布流动波及到的数据库次要是售卖专辑的订单库,在专辑预售和正售时会有大量订单同时写入和更新数据库,对数据库的性能和一致性要求都较高,数据不能失落,还须要保障高性能查问、写入和更新

此种背景下,QQ 音乐的数据库整个架构须要更平安、更稳固的服务模式。而腾讯云企业级分布式数据库 TDSQL 正好满足了本次流动的需要。

TDSQL 反对强同步、半同步、异步三种同步形式,且强同步的性能根本靠近异步复制形式。在周杰伦新专辑上线这一场景下,TDSQL 的强同步正好满足了该场景的需要。另外,TDSQL 反对主备疾速切换和疾速减少分片和正本,在对业务通明的状况下疾速扩容了多个分片和正本,即时满足了流动的要求。压测过程中也呈现了多个正本和分片集中在多数几台设施的状况,通过主备切换和数据疾速搬迁后,安稳和疾速地解决了该问题。

借助腾讯云数据库欠缺基础设施和服务

QQ 音乐打造了“听、看、玩”的平面泛音乐娱乐生态圈,为累计注册数在 8 亿以上的用户提供多元化音乐生存体验,优质服务的背地,是每天万亿级新增音乐内容和行为数据,PB 数据量级的数据计算服务。通过 QQ 音乐和腾讯云数据库单方技术团队无数次技术架构降级和性能优化,逐步形成高可用、高性能、高平安的计算剖析平台。

音乐的业务场景较多,繁多的数据库架构不能齐全满足业务需要,所以针对不同的业务场景,咱们抉择了不同的数据库架构”,QQ 音乐数据库运维负责人赵新强说,QQ 音乐借助 TDSQL 的分布式能力部署了一主一从、一主多从的数据库集群;针对外围业务,采纳腾讯云原生数据库 TDSQL- C 的寰球数据库架构,实现了多地容灾节点部署,在性能、老本和数据安全上平衡应用,满足不同业务的需要。

现在,QQ 音乐接入腾讯云数据库已有两年多的工夫,整体数据规模已超过 100T。就业务场景来说,QQ 音乐次要的特点是离线剖析场景较多,在日常的运维过程中会常常遇到一些数据库性能相干的疑难杂症或者组件管控的问题,腾讯云数据库团队可能及时地响应解决。

在数据库的治理中,QQ 音乐次要面临以下几个问题:

一是随着日志、流水、订单类的业务数据一直增长,原生的 MySQL 集中架构须要一直的进行分库分表,DBA 工作量大,且对业务逻辑须要适配,TDSQL 反对 主动程度拆分,能很好地解决该类问题;

二是随着业务的增长,开发的 DDL 需要一直增多, 通过腾讯云原生数据库 TDSQL- C 提供的Instant DDL 内核能力,1 秒内实现原先须要几十分钟甚至小时级别的变更,极大晋升了 DBA 的运维效率;

三是 DBA 日常频繁应答各种慢查问、低性能的排查,TDSQL 的扁鹊 DBbrain 平台 通过对数据库实例各项指标进行综合剖析和诊断,可能疾速精确的找到数据库的性能瓶颈。

目前,QQ 音乐业务在多种数据库架构的根底上,满足了实时动静、最新评论、置顶等多业务性能,跨城读取毫秒级提早,且反对流动弹性扩缩容,轻松应答千万级别用户基数的高并发读写,治理更轻松,更专一业务

深刻业务,向数据库智能化运维演进

以后,云端大数据基础设施产品以其技术开放性、全链路笼罩、灵活性取得了互联网企业数据 IT 团队的统一认可。借助于云端大数据基础设施推动业务翻新、经营翻新已成为互联网企业的共识。

赵新强示意,目前 QQ 音乐处于 自研上云 的阶段,将来的次要方向是借助腾讯云欠缺的基础设施和服务脱离底层繁琐、根底的运维工作,将更多精力深刻业务,另外 QQ 音乐也会一直建设自动化运维零碎和工具,逐渐向数据库 智能化运维 致力。

在这方面,腾讯云原生数据库 TDSQL- C 基于计算存储拆散的架构,提供 HTAP、极致弹性扩缩、海量分布式存储等能力,同时具备智能运维平台、Severless 版本等规范对立的产品服务计划,可全方位满足 QQ 音乐及业务的各类需要。

腾讯云数据库智能对立管控平台,可让数据在不同引擎之间自在流动,更好地反对业务疾速倒退。具体包含:以丰盛的接口能力,支持系统实现不同利用场景灵便调用、一键经营;实现 90% 常见故障秒级诊断及 SQL 优化倡议的智能运维体系,大幅升高零碎运维复杂度;基于多源同步工具,实现多引擎数据秒级同步,对业务屏蔽引擎差别;实现插件式负载平衡治理,进一步晋升可用性。

QQ 音乐通过腾讯云数据库的全栈服务,满足了 AP、TP 全场景需要,撑持着千万用户的订单、评论等外围业务,从大数据基础设施、全链路数据工具链、畛域数据价值利用在内的各个环节,互利共赢,开释多元数据价值。而这也正是周杰伦新专辑带来的启发,对于互联网企业来说,须要采纳集数据安全、高性能、高弹性、易扩大等多种能力于一身的数据库,能力帮忙更无效地应答将来倒退

正文完
 0