共计 3913 个字符，预计需要花费 10 分钟才能阅读完成。
简介： 从实时剖析的价值、场景和数据流程，以及用户对平台能力要求开展，讲述云数据仓库 MaxCompute 的产品能力劣势，面对实时剖析场景的能力演进要求。进而以实时剖析典型场景的全数据流程解决、建模和剖析的最佳实际，解说 MaxCopute+Hologres 的解决方案，展示强强组合应的能力劣势。
一、云数据仓库概述
数据仓库的定义是面向主题、集成性、稳定性和时变性，用于反对管理决策。数据仓库的意义在于对企业的所有数据进行归集，为企业各个部门提供对立的，标准的数据进口。
数据仓库（模型）实质是人收集和存储数据，意识数据，组织和治理数据，应用数据决策的最佳实际造成的方法论。模型自身与在哪、用什么技术无关。但逻辑模型和物理模型在最终计划中又是紧密结合的。用户须要的是数仓的业务能力和技术能力。
数据仓库的外围能力和价值包含：采集同步、加工、存储、建模、治理、查问。然而为了实现数据仓库的能力和价值必须要具备的根底包含：IDC 机房、部署、开明、高可用、平安、日常运 维、扩容。这些形成了数仓总领有老本。从各个角度看，总成本 = 外围能力老本 + 根底老本 = 产品成本 + 服务老本 = 以后老本 + 长期老本 + 演进老本。
MaxCompute 是 SaaS 模式企业级云数据仓库。SaaS 模式云数据仓库具备如下特点：• 开箱即用 • 大规模高性能 • 免运维、专家优化 • 灵便扩大 • 数据服务 • 丰盛欠缺的数仓能力 • 高可用，容灾备份 • 极致平安 • 低成本 • 能力疾速演进。可能为企业免去领有数据仓库的根底建设老本、保护老本、长期演进老本等非核心能力之外的投入。
SaaS 模式云数据仓库可能的利用场景举例如下：
• 实时数据入仓和剖析决策
• 业务经营场景 - 交互式业务指标计算、查问
• 各行业搭建数据仓库 - 流批一体、湖仓一体 云上弹性扩大大数据计算和存储。
SaaS 模式云数据仓库的产品劣势包含：
• 云原生极致弹性：云原生设计，无服务器架构，反对秒级弹性伸缩，疾速实现大规模弹性负载需要
• 简略易用多功能计算：预置多种计算模型和数据通道能力，开明即用
• 企业级平台服务：反对凋谢生态，提供企业级平安治理能力。与阿里 云泛滥大数据服务无缝集成
• 平安：多租户环境下安全控制能力强
• 大规模集群性能强、全链路稳定性高，阿里巴巴双 11 场景验证。
SaaS 模式云数据仓库举荐场景和产品组合例如：
• 实时剖析场景 -MaxCompute+MC-Hologres+Flink+DataWorks+Quick BI
• 机器学习场景 -MaxCompute+PAI+DataWorks。等。
明天重点解说实时剖析场景。
云数据仓库蕴含的面向用户的性能和数据流程，如下图所示。开明 MaxCompute 云数仓即可领有如下全副性能和能力。
二、实时剖析场景与价值
再提一遍大数据的 5V 能力
1 容量（Volume）是指大规模的数据量，并且数据量呈持续增长趋势。目前个别指超过 10T 规模的数据量，但将来随着技术的提高，合乎大数据规范的数据集大小也会变动。
2 速率（Velocity）即数据生成、流动速率快。数据流动速率指指对数据采集、存储以及剖析具备价值信息的速度。因而也意味着数据的采集和剖析等过程必须迅速及时。
3 多样性（Variety）指是大数据包含多种不同格局和不同类型的数据。数据起源包含人与零碎交互时与机器主动生成，起源的多样性导致数据类型的多样性。依据数据是否具备肯定的模式、构造和关系，数据可分为三种根本类型：结构化数据、非结构化数据、半结构化数据。
4 真实性（Veracity）指数据的品质和保真性。大数据环境下的数据最好具备较高的信噪比。
5 价值（Value）即低价值密度。随着数据量的增长，数据中有意义的信息却没有成相应比例增长。而价值同时与数据的真实性和数据处理工夫相干，见图。
其中最要害的一点是：越靠近数据源，越早进行剖析和决策，越能施展数据价值。
实时剖析的场景能够用以下两个类比演变进去：
类比 1：大酒店同时具备其余综合业务，倒退出餐 饮（实时）业务，用以更好的施展协同作用。
演变 1：以数仓剖析为主场景，依据业务实时性需 求进行实时剖析，构建实时通道和实时交互式剖析，造成 Lambda 架构。
类比 2：饭店从餐饮（实时）业务倒退而来，须要更好的外围反对作用，并向综合性倒退。
演变 2：以实时剖析为主场景，造成流式架 构，又须要能从数仓疾速提取数据，和数据 源回放，造成 kappa 架构，后续还要思考实 时数据和模型如何入仓。
详细分析这两种演变场景如下：
以数仓剖析为主场景，依据业务实时性需要进 行实时剖析，构建实时通道和实时交互式剖析，造成 Lambda 架构 例如 IOT 设施监控剖析，下发策略，设施接管 后上报新数据立刻进行剖析，比照之前的后果，重复剖析调优。
以实时剖析为主场景，造成流式架构，又须要能从 数仓疾速提取数据，和数据源回放，造成 kappa 架构，后续还要思考实时数据和模型如何入仓 例如欺诈监控，必须第一工夫获取剖析论断，并关 联标签精准辨认，最初实时数据落入数仓与其余数 据交融造成常识。
进一步的，实时剖析的次要能力要求如下：
1 利用生态：
• 开发者生态 • 丰盛的 API、SDK • BI 工具无缝对接 • 流式解决工具和散布 式音讯队列无缝对接。
2 极速查问响应：
• 毫秒级响应速度，轻 松满足客户海量数据 简单多维分析需要 • 千万 QPS 点查 • 上千 QPS 简略查问。
3 实时存储：
• 亿级写入 TPS • 写入即可查问。
4 数仓查问减速：
• 间接剖析 • 无数据搬迁 • 无冗余存储 • 对立权限。
5 联结计算：
• 对立建模办法 • 对立元数据 • 对立的管控治理体系 • 分层划域架构下的演 进和整合。
三、MaxCompute 云数仓 + 实时剖析
常见的 Lambda 架构有三大问题。
首先，一致性难题：• 两套代码，两套逻辑 • 流和批语义齐全不同 • 离线层和实时层数据存储和变换形式齐全不同。
第二，环环相扣、多套零碎、运维简单、老本昂扬：• 多个不同的零碎 • 大量的同步工作 • 资源耗费微小 • 不同零碎标准规范不对立。
第三，开发周期长、业务不麻利：• 谬误难以诊断和定位 • 订正、补数周期长 • 无奈自助实时剖析 • 无奈响应变动 • 剖析到服务的转化周期长。
以搜寻举荐精细化经营的场景案例进行剖析，开源计划的能力扩散。如下图所示，KVStore，MPP，实时数仓，数仓具备多种能力，最好能有一种技术计划将多种能力对立于一个引擎。将存储、实时数仓、交互式剖析、点查、OLAP 剖析等能力集于一身。MaxCompute Hologres 即是这个产品和解决方案。
MaxCompute Hologres 将实时剖析的架构变得简略和高效。以实时剖析为核心设计，Hologres 可能实现实时写入和实时剖析、查问。MaxCompute Hologres 提出云原生 HSAP 架构中，一份数据同时用于实时剖析、在线服务和实时离线数据对立存储，与 SaaS 模式云数据仓库 MaxCompute 完满联合。
另一种场景，MaxCompute Hologres 能够作为云数据仓库 MaxCompute 剖析减速能力模块和 ADS 层建模能力模块。无数据搬迁、数据分析效率高。ADS 层建模 + 服务对立、OLAP 加强，如下图所示。
再看 kappa 架构，Kappa 架构是基于流式架构的降级，须要回放和关联数仓，后续还要思考实时数据和模型如何入仓。开源计划实时数仓有以下问题：实时老本高、开发周期长、业务反对不灵便。
Kappa 架构的原理就是在 Lambda 的根底上进行了优化，将实时剖析和流局部进行了合并，将数据 存储和通道以音讯队列进行代替。因而对于 Kappa 架构来说，仍旧以流解决为主，然而数据却在数据湖 层面进行了存储和简略建模，当须要进行离线剖析或者再次计算的时候，则将数据湖的数据再次通过音讯队 列重播一次。Kappa 架构看起来简洁，然而施难度绝对较高，尤其是对于数据回放局部。
如下图所示，MaxCompute Hologres 能够将实时、离线、剖析、服务一体化，做到了实时离线联结剖析，冷热温三类数据全洞察。
四、实时剖析案例
针对实时剖析的罕用场景，Saas 模式云数据仓库 MaxCompute 在领有了 Hologres 后提出了：实时、离线、剖析、服务一体化计划。即前文形容的 Lambda 架构简化、交互查问加强、kappa 架构加强，实时离线联结剖析，冷热温三类数据全洞察的计划能力。
此计划实用于电商、游戏、社交等互联网行业数据化经营，如智能举荐、日志采集剖析、用户画像、数据治理、业务大屏、搜寻等场景。
计划劣势：阿里巴巴最佳实际的大数据平台，1）技术当先性；2）降本提效；3）高附加值业务收益；
波及产品：日志服务 SLS、数据传输 DTS、DataHub、实时计算 Flink、交互式剖析、云数仓 MaxCompute、数据治理 DataWorks、Quick BI 报表、DataV 大 屏、ES 搜寻、机器学习 PAI。
小影是一款原创视频、全能剪辑的短视频社区 APP，面向公众提供短视频创作工具，包含视频剪辑、教 程玩法、视频拍摄，谷歌利用商城支出榜前五，寰球累计用户冲破 8.9 亿。
用户标签数据开发：客户通过 MaxCompute 针对每 天 APP 产生的客户根底属性数据、行为日志数据、内容数据等进行 计算，每天离线更新用户标签的 数据，反对营销业务的应用。
用户画像实时洞察：客户基于 MC 离线计算好的用户标 签，通过 MC-Hologres 进行多标 签、多维度的实时剖析，理解用户 属性标签与内容标签之间的关联性，洞察穿插销售机会，并通过人群圈 选，进行 APP 音讯 PUSH。
实时视频举荐：客户通过 Flink + MaxCompute +MC- Hologres +PAI 搭建个性化 实时举荐零碎，基于用户特色和实 时行为特色，实时举荐个性化的短 视频内容。
原文链接
本文为阿里云原创内容，未经容许不得转载。
