在 7 月 28 日的袋鼠云 2022 产品发布会上，基于对当初与将来的畅想，袋鼠云产研负责人思枢正式公布了全新的四大产品体系。
其中的数栈 DTinsight，置信大家都很相熟了，不同于数驹这位新敌人，数栈作为袋鼠云和大家常常见面的“老朋友”，在放弃初心的同时，这次也有了一些不一样的变动。
作为袋鼠云打造的一站式大数据开发与治理平台——数栈 DTinsight，包含离线数据开发、实时数据开发、数据服务、数据资产四款产品，在数据采集、加工、对立服务的根底上，将全域数据资产汇聚、数据治理交融其中，极大地缩短了数据价值的萃取过程，进步企业提炼数据价值的能力。
以下为思枢演讲全文：
接下来我来为大家介绍一下“老朋友”数栈 DTinsight，如何面向数据提供一站式数据开发与治理能力，帮忙企业实现数据价值出现。
一、惊喜变动 数栈全新起航
晚期企业在进行数据价值化建设过程中，为了更好的服务下层业务需要，从业务需要登程，驱动后端业务零碎及对应数据库建设，这在肯定水平上满足了下层业务需要。但随着业务需要的增多，业务复杂性的减少，相干的问题也裸露了进去：如超过 TB 级以上海量数据的剖析能力差，各个业务板块数据进行交融剖析难度高，面向多变市场的灵活性业务需要难满足等。
原有的基于业务需要疾速迭代开发而造成的烟囱式业务零碎，无奈满足当下数字化场景需要，迫切需要一个可能解决多源异构数据源、PB 级数据存储、弱小剖析引擎、规范数据标准，且灵便便捷的全新“零碎”，而数栈 DTinsight 也由此而生。
数栈 DTinsight，对标一站式数据开发与治理，在面向多源异构数据源时，通过数据汇聚能力实现全域数据买通，而后通过数栈多年教训造成的数据治理方法论，在数据开发过程中，造成数据资产，实现数据治理工作，并通过数据服务能力，将高质量的数据高效共享，为报表剖析、决策分析等提供数据撑持，赋能各行各业。
在整个过程中数栈聚焦数据问题，买通数据链路，将全域数据资产汇聚，对立数据治理交融其中，缩短数据价值的萃取过程，加强企业提炼数据价值的能力，为企业提供一站式解决方案。
请大家看数栈的产品架构图：
在数栈整个产品的设计过程中，次要分为四大模块，别离是用于批工作的离线开发平台、用于实时工作的实时开发平台、用于数据治理的数据资产平台、用于数据服务的数据共享服务平台。
整个数栈通过集成自研的数据集成框架 ChunJun 对接 30+ 异构数据源，包含传统的关系型数据库、NoSQL 数据库 HBase、文档数据库 MongoDB、国产数据库达梦等，将数据对立存储在数驹或其余大数据平台，包含开源 Hadoop 体系以及商业版 CDH、TDH、FI 等，也能够存储在数仓引擎中包含 GP、TiDB 等，而后在这之上发展基于 DataOps 理念的数据价值化流程。
同时数栈各个板块基于解耦化的设计，可能基于客户需要灵便搭配，如离线 +API 实现传统数仓体系搭建，离线 + 资产 +API 构建数据治理体系，实时 +API 构建实时数仓等。
在这里也重点讲下数栈在 DataOps 理念下的实际。DataOps 是一种合作式数据管理的实际，致力于改善组织中数据管理者与使用者之间数据流的沟通，集成和自动化。
数据开发同学在实现一个 ETL 工作的过程中，个别须要通过数据源的筹备—数据同步—数据查看—数据处理—数据校验—数据分析这 6 个步骤。在这过程中：
● 继续开发
数栈提供了 SQL IDE、Gitlab 等开发工具，来反对麻利的数据开发工作；
● 间断测试
数栈提供丰盛的 sql 测试集和性能测试，达到保障数据准确性的作用；
● 继续部署
数栈提供一键式测试工作到生产工作的公布和大规模工作流的自动化编排；
● 数据治理
数栈提供元数据的自动化生命周期治理和全链路的数据血统解析。
二、五大个性 数栈核心理念
说了这么多，接下来重点聊聊数栈的产品个性，次要蕴含以下几点：
● DataOps
基于 DataOps 设计理念，数栈实现了数据全生命周期的品质监管和数据开发流程标准，为数据治理保驾护航；
● 数据还原
数栈不仅仅可能实现数据实时同步，也能实现源端数据结构到目标端的实时还原，真正做到数据复现，残缺对立；
● 金融级平安
数据的全域买通在放慢了数据价值化出现过程的同时，也放大了数据安全隐患问题。数栈基于系统安全、数据安全、服务平安和行为审计四大维度，实现数据安全管控，操作有迹可循，防止数据泄露，保障数据安全高效地共享服务；
● 全域数据治理
通过买通数据壁垒，建设基于对立数据规范和数据模型，监控数据品质，造成高质量的数据资产，为下层业务提供便捷的数据服务，并能生成品质报告，一直优化数据，继续赋能数字化场景；
● 兼容凋谢
数栈秉承凋谢兼容的设计理念，兼容多种底层计算引擎包含开源 Hadoop 体系、商业 Hadoop 版本和多种数仓引擎，在国产信创路线上兼容多种国产操作系统、国产数据库、国产服务器以及国产芯片。同时本着基于开源回馈开源的思维，数栈也将外围组件进行了开源，包含数据集成框架 ChunJun、百万级调度引擎 Taier。
三、赋能业务 数栈利用场景
说完产品个性，接下来通过介绍三个数栈的理论利用场景，以点及面地帮忙大家更好得了解数栈。
数栈 X 金融场景
咱们都晓得随着挪动 APP 的衰亡，咱们的金融交易不再局限于银行柜台，通过手机就能够实现各种各样的金融流动，这加大了金融交易的安全隐患，社会上因金融欺骗而被骗取钱财的新闻不足为奇。如何保障在海量金融交易过程中，进行金融交易行为的危险评估，保障消费者的权利是时下金融客户急需解决的问题。传统的数据分析模式，因数据规范不对立、数据品质差，导致数据分析逻辑简单，耗时周期长，无奈做到及时反馈后果，等发现时已为时已晚。
袋鼠云帮忙金融客户借助数栈一站式数据开发与治理的能力，汇聚金融各种交易数据，构建金融的实时数仓，实现数据分析的毫秒级响应，让消费者在享受金融交易便捷性的同时，无感剖析交易危险，防止金融欺骗等高危操作，同时对交易行为进行实时推送、异样行为实时预警，助力平安金融的构建。
数栈 X 水务场景
咱们晓得在冬季，一些河流较多的城市容易产生洪涝，一旦降雨增多，还会附带泥石流等灾祸因素，对应的各级政府在旱季对于洪涝抢险救灾一贯是时刻关注。但传统的监控无奈做到精准的灾祸预警和灾后的应急响应，造成大量的国家资产损耗，甚至是人员伤亡。
袋鼠云数栈基于河流以及环境监测数据等，制订事先、事中、预先三步走策略，通过事先实时监测，包含降雨、水位等，实时将数据反馈到监控大屏中；而后在事中进行实时预测，包含降雨预测、灾祸预警等，将将来可能产生的事件实时展现到大屏中，为灾祸做好预防筹备，及时告诉人群疏散，最大水平防止人员伤亡；最初实现预先响应，对以后灾情进行统计分析，为抢险救灾提供数据决策撑持，正当调配人员安顿，最大水平防止国家财产损失。
数栈 X 团体港口场景
对于一个港口而言，货物吞吐量是掂量港口能力的一个因素，如何最大化进步港口货物吞吐是所有港口始终在思考的问题。传统的港口调度因各个区域的职责所属，无奈感知全港口的货物走向，只能基于本身区域进行人员的调配和车辆的调配，实现区域内的“部分最优”，某种程度上进步了港口的货物吞吐量，无奈实现“全局最优”。
袋鼠云数栈从全港口角度登程，买通全港口数据信息，感知全港口货物走向，理解各区域货物吞吐速率，针对“拥挤”区域，进行资源歪斜和人员调配，同时感知“将来货物”量，及时做好资源筹备，最大水平上进步全港口的人员与车辆调度能力，实现港口货物吞吐量的最大化，让“信息化”港口降级为“智慧化”港口。
四、不忘初心 数栈砥砺前行
从 2016 年推出数栈算起，一晃眼，数栈曾经走过了第六个年头，将来数栈将持续秉持初心，在一直打磨本身的同时，谋求更深层次的冲破。
将来布局
· 资源分配：从传统的定值设定，到联合工作负载，进行精细化参数调节，实现更加高效的资源利用。
· 数据共享：建设按需共享模式，实现企业内的跨业态、跨部门的教训分享，积淀企业内的数据知识库，满足更高的数据共享需要。
· 数据监控：实现自动化干涉数据，依据每日的工作运行状况等多维度信息建设零碎自诊断能力，及早预测、发现、干涉数据问题，变被动为被动。
· 数据校验：实现智能化规定创立，主动扫描 SQL 和表信息，获取不合规因素，主动建设正当的数据校验规定，升高手动配置工作量。
袋鼠云开源框架钉钉技术交换 qun（30537511），欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息，开源我的项目库地址：https://github.com/DTStack