共计 3325 个字符，预计需要花费 9 分钟才能阅读完成。
作者：算法 & 健兮，阿里巴巴数据技术及产品部技术专家
生意顾问介绍
生意顾问是阿里官网打造的全渠道、全链路、一站式数据平台，致力于为用户提供经营剖析、市场洞察、客群洞察等多样化数据服务，帮忙用户全面晋升商业决策效率。自 2011 年诞生以来，生意顾问服务过的用户已逾 3000 万，笼罩了线上线下零售商（淘宝天猫）、品牌商（批发通）、智慧门店、内贸批发商（1688）、内容创作者（微淘等）、东南亚国内商家（LAZADA）等多个业态商业用户。目前，淘宝天猫商家中，月有交易的商家，99% 以上都在应用生意顾问。
生意顾问通过将近十年的倒退，曾经撑持了 99% 淘宝天猫商家的决策经营，在如此宏大的商家群体下，每个商家对于数据的诉求都不一样
• 对于中大型商家，有本人的数据分析师团队，更心愿本人对原始数据进行加工与展现，
• 对于中小型商家心愿能够提供更加不便的一键式服务
• 对于一些品牌商，心愿看到长达数年的历史数据分析
多种多样的剖析需要对生意顾问的架构提出了微小的挑战，借助于云原生数据仓库 AnalyticDB MySQL 的弱小能力，生意顾问与 QuickBI 团队强强联合，打造了“商家自助剖析”产品，帮忙商家定制本人的数据报表，满足商家对本身各维度数据进行得心应手的剖析需要，帮忙千万商家实现“数据价值在线化”。
商家剖析的业务挑战
1）海量数据高并发简单查问
生意顾问服务几百万商家，数据量是十分宏大的，如果存储 3 年数据，仅一个商品维度数据表，就能到千亿条记录。然而咱们要满足商家对这些数据表，进行任意维度的数据查问、筛选、关联、聚合、计算、排序等操作，并且要求毫秒级返回。例双十一期间咱们的简单查问 QPS 超过 300，在这种高并发低延时场景下对数据库带来微小的挑战。
2）在线查问和批处理混合负载
为了降低成本，生意顾问“商家自助剖析”产品不能将所有的商家数据全副写入剖析库，须要对订购的商家须要在商家当天回补所有的历史数据，要求单商家 6000W 数据分钟级实现商家历史数据回补。在数据回补时，高并发查问与写入要求同时运行，互相不影响，对剖析库的混合负载要求很高。
3）任意维度的灵便报表能力
生意顾问“商家自助剖析”产品的基本需要是满足商家各式各样的剖析需要，须要为商家能够提供灵便配置报表的能力，这时候一个成熟的 BI 解决方案必不可少。
4）商家数据安全性要求高
商家对于本身的数据安全要求十分高，生意顾问“商家自助剖析”产品既要让商家可能得心应手的进行数据分析，又要防止数据的泄露，也要避免数据被爬取、避免程度越权泄露。
全套成熟 BI 计划 – AnalyticDB + QuickBI
生意顾问抉择了 AnalyticDB（以下简称 ADB）+ QuickBI 一整套成熟的 BI 解决方案。
QuickBI 介绍
Quick BI 是阿里云成熟的自助剖析报表平台，是国内首个且惟一入选 Gartner 魔力象限的 BI 产品。产品通过几年的积淀已无缝对接各类云上数据库和自建数据库，0 代码鼠标拖拽式操作，让业务用户也能一键轻松实现海量数据可视化剖析。并且 QuickBI 提供弹内部署能力，能够通过生意顾问为入口，对商家提供对立的服务。让商家在产品心智上感触到，一个数据分析平台，没有思考零碎间切换的问题。真正实现一个平台，满足用户数据分析需要。
AnalyticDB 云原生数据仓库
AnalyticDB 是阿里云自研的云原生数仓库，全面兼容 MySQL 语法，为剖析而生，领有杰出的剖析性能。
1）MySQL 兼容 ，好用是数据库价值真正的体现，AnalyticDB 高度兼容 MySQL，根本无需批改代码即可像应用 MySQL 一样应用 AnalyticDB，迁徙应用老本极低。对于 MySQL 社区周边工具也能够无缝接入，因而和 QuickBI 的配合就像应用 MySQL 一样简略。
2） 高性能高并发 ，AnalyticDB 为剖析而生，领有业界最快的查问性能，通过行列混存、自适应索引，联合向量化的分布式执行引擎实现大部分查问简单能够在毫秒级实现；同时通过在线化的调度和云原生的弹性扩大能力，能够反对大量商家的在线并发拜访。
3） 混合负载 ，在存储计算拆散的架构下，AnalyticDB 能够混合计算负载能力，在经典的在线（online）/ 交互式（interactive）查问执行模式之外，也反对了离线 / 批处理(batch) 查问执行模式。因而针对在大量商家高并发在线查问的同时，同时能够进行并发的数据写入、加载和回补，实现业务一套零碎的混合负载解决。
4）安全可靠 ，AnalyticDB 基于云原生的 VPC 网络构建，同时对数据有库、表、列等多级权限爱护，同时还反对通过内容数据的加解密，能够满足商家数据的安全性要求。
总结下，AnalyticDB 能够从任意维度进行查问、筛选、聚合、计算、排序等操作，性能反对亚秒返回，并且反对实时写入，反对大型 ETL 与高并发查问混合负载等个性十分符合商家自助剖析业务。并且，QuickBI 完满反对 AnalyticDB 作为数据源头，与商家自助剖析业务完满符合。
生意顾问业务架构
生意顾问自助服务的实质是一套安全可靠，稳固灵便的 BI 计划。在底层，生意顾问将订购商家数据寄存在 AnalyticDB 中，依靠于 AnalyticDB + QuickBI 的生态，建设商家我的项目空间，同时买通生意顾问与 QuickBI 权限体系，撑持起商家自助剖析需要。
数据同步
生意顾问自助剖析，借助 AnalyticDB 反对高吞吐实时写入的个性，通过订购当天回补历史数据的形式，解决了客户对于长周期数据的剖析诉求。对于新订阅用户，须要将历史数据按天级别增量同步至 AnalyticDB 中，这个是零碎设计的一个难点。借助 AnalyticDB 实时数据写入的能力，咱们设计了自助剖析 - 数据增量同步计划，无效解决了历史数据的增量同步。
数据安全
生意顾问整体数据架构是全副用户共享 AnalyticDB 存储，不同商家是通过商家 ID 来辨别，针对此种非凡场景，QuickBI 的数据集反对了逻辑隔离，商家开明时，通过后盾接口初始化好商家数据集，注入商家 ID 参数，即便用户编辑模仿也无奈替换掉，保障了商家数据的安全性。同时通过行级权限，将不同版本的付费商家查看指标做了管控，确保了产品的利益不受损害。
业务价值
所有自助剖析自定义配置的报表，都能够抉择配置到生意顾问首页，这样商家的所有子账号，都能在生意顾问首页看到，真正达到了用户定制生意顾问页面能力的成果。其中咱们通过店铺经营剖析，店铺流量剖析，单品深度洞察报告等 BI 模板，吸引了大量商家自助配置本人的 BI 报表。
将来瞻望
将来咱们心愿能够持续在数据价值上的摸索，心愿继续与 AnalyticDB + QuickBI 放弃共建，推动数据价值在线化，让商家数据分析更加简略高效。
业务资源隔离
在 AnalyticDB MySQL 版新推出的弹性状态下实现了资源组性能，通过新建资源组能够从现有实例划分出局部计算节点，这些计算节点资源只归属该资源组。用户可将数据库账号绑定到不同的资源组，SQL 查问时依据绑定关系主动路由至对应的资源组执行，满足用户实现外部多租户隔离需要。咱们对于不同的大商家，能够进行隔离，确保大商家业务的稳定性，提供更好的业务体验。
查问负载治理
在自助 BI 的零碎中始终存在一个痛点，单个用户配置了不合理的报表，读取超大量的数据，进行超出预期的计算，影响其余商家的报表展现，为此咱们在零碎中须要做诸多限度，比方用户报表只能基于单表，不能够做多表联结剖析，这样大大限度了商家报表的灵活性。为此咱们冀望 AnalyticDB 提负载治理的能力，通过咱们指定查问资源耗费，读取数据耗费等维度限度，来对查问进行 KILL，切换资源组等行为，保障数据库稳定性。
智能化诊断
须要做好监控和边界问题的发现机制，在呈现问题时可能疾速定位。冀望可能充分利用 AnalyticDB 的监控能力，在呈现问题前第一工夫预警，躲避问题的产生。为此，AnalyticDB 将提供全方位、多维度以及准实时的实例运行状况洞察能力，通过对实例外部的各类运行日志和时序指标进行算法建模，提供出问题前精确预测、出问题时及时告警、解决问题时精准定位的能力，确保不影响用户下层业务。
原文链接
本文为阿里云原创内容，未经容许不得转载。
