AI 深刻利用，以及数字化与新商业环境的挑战下，对数据的治理与利用被企业和 IT 界提到了更重要的地位。CSDN 的《新程序员》杂志第二期做了主题为“新数据库时代”的系列专题报道，此外，剖析与咨询机构在钻研与发表的报告中，也印证了这一趋势。德勤在刚刚公布的《2022 年度技术趋势》中，第一个趋势即是数据相干，示意数据共享趋势将减速。Gartner 公布 2022 年数据分析十二大趋势，将数据分析晋升到企业翻新起源的高度。
不过从最早的传统关系型数据库，到 Hadoop、Spark 大数据利用，再到数据仓库、数据湖，往年湖仓一体、流批一体等实时数据处理被宽泛关注，数据赛道出现了多种需要与多种计划混淆的状态。到底该如何了解数据的重要性，以及抉择什么样的数据策略，是数据从业者都须要去厘清的内容。近日，CSDN 专访了专一于数据智能基础设施的软件厂商九章云极 DatatCanvas 董事长方磊博士，听听他的了解与实践经验。
TP、AP 之后“第三份数据”衰亡，引发数据热潮与系统升级机会
在 IT 零碎倒退中，事务型数据（TP）与剖析型数据（AP）是最典型的两类数据，以往数据与报表只是企业外部应用，例如白天的业务数据在早晨对立汇总，每天只更新一次（T+1），因而这些数据具备低并发、低频率的特点。
随着商业的翻新式倒退，数据逐渐从外部转为内部用户应用，利用操作即时就需反馈后果，方磊举例道，如手机银行 App 如果转账失败须要立即复原余额，专业术语称为“冲账”。因而他示意，在 TP、AP 之后呈现了“第三份数据”，它须要与外部零碎直连，并能疾速、高并发地实现内部申请。
为了解决“第三份数据”，新的数据系统既要有数据仓库的个性，又要兼顾交易数据库的个性，同时具备 severing 的能力。因而呈现了多个数据系统，并逐渐倒退为对立架构之上，流批一体、湖仓一体等实时数仓随之产生。不过方磊提到，当初湖仓一体、流批一体侧重于在计算层将结构化、非结构化数据对立，实现对立计算。例如 Databricks 提出的 Lakehouse，这是因为在美国的 IT 零碎中，私有云的倒退曾经解决了数据存储层的问题。
但中国 IT 是更为扩散的公有云、混合云市场。传统企业中，数据在存储层只是由 Oracle、Teradate、MPP 上一代的数据仓库过渡到了 Hadoop，数据可能存在 HDFS、或 MPP 数据库，或在云上的对象存储中，各类实时数仓不同的设计，都须要解决数据不统一，这一最大的痛点。
除了实时性的需要之后，数据业务正在从大量预先统计，转向事中与事先（如金融监管）预防，另外在以往零碎内 BI 利用之外，数据须要反对泛滥新的 AI 利用，而工业互联网畛域的数据利用也在弯道超车，如工业质检、风力发动机转速扭矩调节，等物联网与 AI 利用也带来数据实时性的需要。
这其中，AI 人工智能场景利用对于数据的需要尤为急切，因为算法与模型都须要更高效和灵便的数据系统去撑持。例如基于 AI 模型的在线实时金融产品，数据早已不是仅限于外部应用，内部对于数据的查问等需要，须要数据系统的剖析能力可能实时透传到内部，为内部用户提供查问（如金融产品数据、随股市变动的金额数据等）。以上这些新场景、新利用、新需要，都让实时性数据进一步成为技术界的热点。
不过方磊认为，从更宏观的视线来看，实时数仓不应仅仅是离线数据库的补充和“补丁”。以往数据处理的痛点并未被彻底完满解决，所以当初更是整个数据基础设施与零碎架构迭代降级的机会窗口，也因而国内外呈现了各种由守业公司、云厂商推出的多个数据系统。
DingoDB：解决实时数据分析最痛的点
在数据基础设施的降级中，各类公司对数据系统的设计分为了很多流派。有些零碎针对传统数仓的性能做了调优提速，曾经能满足目前 80% 的数据业务需要，方磊称之为改良派，但这类零碎仍无奈解决高并发与内部用户应用的难题。另一类零碎，则突破了 TP、AP 数据的割裂性，所有数据全副实现流批一体，不过这也会带来对内存等计算成本的昂扬开销。第三种，也是九章云极 DataCanvas 抉择的路线，设计一个既反对“批数据”又反对“流数据”，并兼顾不同类型存储摆放需要的数据系统。
当初，九章云极 DataCanvas 推出了实时交互式剖析数据库 DingoDB，DingoDB 作为实时数据的通用零碎，像 hadoop 一样具备松耦合与灵活性，但同时像 Oracle 具备稳定性且易于运维。
更进一步，在数据系统的各环节中，方磊认为，数据的变换曾经被业界很好地解决（如开源 Flink 曾经能够很好解决实时的数据变换 Realtime ETL），而之后的数据查问依然是单薄和待晋升的环节。DingoDB 借鉴了 TP 零碎和 AP 零碎各自的长处，联合 Flink ETL，在存储海量数据的同时，可能进行高并发的数据查问，实时的数据分析。数据从各种类型的渠道导入 DingoDB，借助 DingoDB 的高并发查问，实时数据分析和多维分析的能力，来撑持实时性、须要在线决策的数据业务利用。
方磊介绍，DingoDB 最外围的技术个性，是高效反对高频批改和查问、实时交互式剖析、实时多维分析等性能，兼具行列混存等技术创新，具体地来说：
- 行列混合：DingoDB 采纳了对立的存储的设计，反对行存、列存和行列混合的存储模式。
- 规范 SQL：DingoDB 反对 ANSI SQL 语法，能够和 Calcite 客户端、BI 报表工具无缝连接。
- 实时高频更新：DingoDB 可能基于主键，实现数据记录的 Upsert、Delete 操作；同时数据采纳多分区正本机制，可能将 Upsert、Delete 操作转化为 Key-Value 操作，实现高频更新。
在存储层，DingoDB 与被频繁比拟的 Databricks 的 Delta Lake 最大的不同点，是 DingoDB 采纳了分布式存储架构，以适应国内用户存储扩散的现状，而 Delta Lake 在存储层更多是云上的对象存储的形象定义，而非真正的存储，这并不适应目前国内云计算的现实情况。
方磊对 CSDN 提到，在企业中，算法和数据不分家，并将越来越紧密结合。所以成立之初，九章云极 DataCanvas 推出 AI 机器学习平台 DataCanvas APS，并在多个要害行业积攒了大量的落地场景与案例教训，当初更进一步，针对 AI 剖析依赖高效、实时性数据这个外围需要，推出的实时数据系统 DingoDB，则是让数据从解决到 AI 剖析，能够在一站式的平台上实现。
面对数据畛域层出不穷的新技术，方磊示意，实时数仓、湖仓一体都是数据处理与剖析利用的新战术，而从策略层面来说，方磊认为，九章云极 DataCanvas 专一和致力在做的，是将 AI 的剖析、数据等凋谢能力，组成一个高效的、相互紧密联系与流动的体系。与 Databricks、亚马逊云科技一样，九章云极 DataCanvas 将致力于打造 AI 与数据对立的、一站式的数据迷信平台，Data analytics and AI on one platform。以过硬的技术与产品去应答数据处理与剖析的效率改革与挑战，将是数据赛道永恒的主题，咱们期待九章云极 DataCanvas 与更多中国优良数据厂商的体现。
DingoDB 开源地址：https://github.com/dingodb/dingo