共计 10441 个字符,预计需要花费 27 分钟才能阅读完成。
现阶段咱们国家从政府到企业都在进行数字化转型,数字化转型的外围是数据,对于有着开发实力和根底的大公司来讲,他们能够有着齐备的数据处理体系和开发人员储备,能够高效的利用手中的资源对数据进行再加工,让数据成为企业的生产因素。
咱们晓得,“二八定律”作为一个经济学原理揭示了任何一组事物最重要的形成只占其中的一小部分,其余的大部分少数形成的很小比例在经济学上被称为“长尾效应”。企业也是一样,处于中长尾的企业想要数字化转型,数据技术、人才、资金的高门槛往往让他们望而生畏。他们亟需大数据行业的领导者,能做出企业的通用模式,节约数字化老本,升高用数门槛。尽管企业不少抉择将业务上云作为数字化的一个方向,但上云后产生的数据不治理、不加工、不剖析,这让这些数据上云失去了意义。
华为云基于华为 IT 流程数据治理方法论推出华为云大数据轻量级解决方案,配合华为云资产能够轻资源、轻开发、轻部署、轻运维的疾速数据治理体系,全 Serverless 计划对中长尾企业来讲应用灵便,企业无需关注底层技术栈、云资源性能,可按需应用升高经营老本。
华为云大数据相干服务提供数据全生命周期的一站式治理和开发,帮忙中长尾企业大幅简化数据治理的流程,在这种轻模式的反对下,中长尾企业能够疾速高效的应答大量数据的剖析,升高用数门槛,放慢企业数据变现,实现企业的数字化转型。
接下来,咱们就通过具体的实例来对华为云数据湖治理核心 DGC 进行全方位的意识和理解,透过华为理念下造成的轻量级通用解决方案探讨中长尾企业如何应答数据治理上的难题。
华为云大数据轻量级解决方案介绍
针对中长尾企业的数据治理需要,华为云推出了大数据轻量级解决方案帮忙企业进行高效的数据治理。咱们都晓得 Serverless 实质是将简单留给本人,将便当提供给客户,减速用户的麻利翻新,这也是华为云大数据轻量级解决方案的核心思想。
华为云这套轻量级的解决方案区别于企业自建自管自经营的模式,全 Serverless 计划对于企业来讲不须要额定思考资源管理、部署、运维,云上模式让企业大大降低了用于硬件治理与扩容、跨 AZ 牢靠调度、Bug 修复、软件平安、AI 引擎调优等问题,只需专一业务开发即可,业务的应用与经营更加灵便。
华为云大数据轻量级解决方案作为一项通用的大数据治理解决方案为企业提供了丰盛的拓展能力,反对对象存储、NoSQL、OLTP、OLAP 等数据库类型,反对跨云数据治理、自建数据中心数据治理。企业不须要变更本人的底层数据技术栈就能实现大数据的治理和剖析。
针对中长尾企业的数据治理场景,华为云 DGC、DLI、CDM、RDS 等服务提供轻量化、灵便的技术栈,通过将华为云服务串联,打造数据治理轻量化模式。波及到以下外围服务:
- CDM:高效、易用的数据迁徙服务,反对批量和增量数据迁徙,提供超过 40 种数据源到数据湖仓迁徙能力;
- DRS:基于事物日志(如 MySQL、Oracle)的数据库复制进行增量同步;
- DGC:数据规范和数据模型的标准设计,可进行在线开发和编排调度,数据品质稽核等一站式数据管理;
- DLI:齐全兼容 Apache Spark、Apache Flink、Presto 生态,提供批、流、交互式一体的 Serverless 交融解决剖析,齐全兼容 SQL 语法,开发难度低;
- BI:通过华为云 DLV 数据可视化服务或业余 BI 软件实现 2D 或 3D 数据展现,通过利落拽式布局,帮忙企业疾速进行大屏数据可视化出现。
对于企业来讲,华为云大数据轻量级解决方案通过一站式的大数据分析服务,实现了企业多端数据采集,并在对立框架下进行数据采集、剖析、演绎。
通过全栈式技术能力,依靠 DLI 数据湖摸索服务以及配套的数据同步计划,能够满足企业海量数据分析的需要,实现疾速数据分析,开释数据的价值。
因为 DGC 提供高度可视化的 ETL 工作开发、治理、调度的能力,同时 DLI 等数据服务反对通用 SQL 语法,这些对于企业来讲能够的大幅的升高开发过程中的门槛,实现简略易用、灵便高效的数据开发模式。另外通过业余的 BI 厂商,能够很好的满足企业对可视化 BI 工具的需要,数据生产到最初直观的可视化出现,为经营剖析升高门槛。
这 DGC 提供一站式的数据全生命周期的经营治理,配合华为云其余大数据产品,DGC 作为华为云轻量级大数据解决方案的外围,它可对接多种数据湖引擎,帮忙进行对立开发,并提供对立的数据资产治理。不便企业进行全链路数据治理管控。数据经营全场景可视,对立调度和运维带来全方位的平安保障。
开发人员无需简单配置就能够实现对数据的导入,DGC 提供数据治理、数据集成、脚本开发、作业开发、作业调度、运维监控、全场景可视化等性能。不便企业不同部门的突破互相隔离,以此建设对立的数据平台,对立技术规范、数据规范和拜访接口。
DGC 提供丰盛的大数据平台组件,不便多种数据和剖析需要,升高数据治理的人工工作量,以此晋升数据管理效率。DGC 提供一套残缺的数据治理方法论落地,通过这套方法论实现业务上下游数据的疾速传递和共享,以此领导理论业务的运作。通过数据品质继续为企业提供预警,以此缩小纠错老本,升高经营危险,晋升服务质量。
在剖析解决上,DLI 数据摸索服务则成为华为云轻量级大数据治理计划的重要组成。这套计划中,通过 DLI 等根底云服务实现数据探查、数据监控、数据标准化,造成有指导意义的集市层数据。DLI 它反对结构化和无结构化的数据处理,并反对丰盛的编程语言接口,同时老本也非常低。DLI 齐全兼容 Apache Spark、Apache Flink、HetuEngine(基于 Presto)。
DLI 采纳批流交互式一体架构,兼容规范 JDBC 协定,能够间接对接第三方 BI 软件,实现一站式大数据分析、用数的闭环场景。
因为 DLI 兼容规范的 SQL 语法且均基于 Serverless 进行剖析计算服务,因而用户无需关怀底层的计算架构,只须要通过连贯服务即可进行数据分析,大大降低了开发的难度和门槛。DLI 还反对免搬迁全域数据联结查问,过滤条件反对只能下压到数据源,缩小传输数据量。因为 DLI 反对 Kubernetes,因而 DLI 还反对资源按需分配,主动弹性伸缩。
接下来咱们进入实例场景,通过对门店坪效的全流程设计来理解华为云大数据轻量级解决方案的各项服务能力,并疾速的进行业务指标的模拟输出。
华为云大数据轻量级解决方案坪效实例场景体验
坪效作为批发行业的典型指标,是这次实例场景所要计算的一个指标,这样的数据分析模型是华为云大数据轻量化解决方案次要的使用场景,在进行坪效实例场景的演示操作前,咱们首先理解下什么是坪效。坪效是掂量一个地区或门店某一时间段单位面积产出状况,即每坪经营面积能够产出多少营业额。坪效计算公式如下:
坪效越高,店铺整体的经营效率也就越高,个别计算都以年为周期。华为云大数据轻量级解决方案的领导及下,咱们以过来一年门店坪效指标和地区坪效指标作为指标,进行我的项目的设计和布局,其中波及华为云大数据及其他云服务,包含 VPS、OBS、RDS、CDM、DGC、DLI、DLV 等。
零售业店铺在获取到坪效数据后,能够针对性的对门店业务、门店规模、人员构造进行调整。这一案例中波及到 DGC 开发的数据集成、标准设计、数据开发、数据品质、数据资产、数据服务模块以及华为云大数据其余关联服务工具。
通过这些模块的体验,咱们得以实现对华为云大数据轻量级解决方案的全面理解,对中长尾的大数据治理进行整体的设计、开发、剖析、经营,在这种轻模式下,企业能够对数据进行麻利开发。
轻资产:按需应用,无需放心底层技术栈及平安问题
在对于中长尾企业而言轻量化的资产管理体系能够省去大量云服务建设老本,华为云大数据轻量级解决方案绝大部分资源都建设在云上,对企业而言,可按需购买,购买即用,不须要额定关注底层的硬件性能和技术实现,并且不须要思考相干工具软件的迭代和平安问题。
这里咱们通过华为云 CDM 云数据迁徙服务,集成 RDS MySQL 数据库模仿数据元门店零碎及订单零碎数据,利用华为云 DLI 数据湖摸索服务的计算能力实现数据清理、指标计算和汇总,并最终应用华为云 RDS MySQL 作为集市层数据展示,最终通过 DGC 作业开发将上述操作串联,造成残缺的流水线,并通过 DGC 数据服务能力将数据 API 接口输入,以此将数据输入到 BI 报表剖析工具或通过华为云 DLV 数据可视化服务对数据进行直观的屏幕输入。上述 CDM、RDS、OBS 等服务均反对按需购买,大幅升高企业的资产购买压力。
其中 OBS 负责存储 DGC 的日志和脏数据;DLI 作为贴源层的存储和计算技术栈,DLI 因为存储量大且价格便宜,并采纳分布式计算模型,因而进行大量数据运算的时候速度较、反对高并发;通过 DLI 生成主题库和专题库后,将这些数据仓库存储在 RDS MySQL 数据库中,这一服务能够进行业余的 BI 剖析;DGC 作为整个我的项目的数据经营技术栈,继承了数据集成、标准设计、数据开发、数据品质、数据资产、数据服务性能,也是华为云大数据轻量化解决方案的核心技术模块,作为数据湖经营平台,DGC 提供了数据的全生命周期治理,在此案例中咱们通过上述功能模块实现了一整条数据治理流水线的建设;在所以数据分析演绎后,再通过 DLV 数据可视化服务对指标进行后果展现。
华为云大数据轻量级解决方案对于企业而言不须要变动其底层的数据源,这套计划在数据集成上曾经有很好的反对,无论是华为云数据库、第三方云数据库还是企业自建数据中心,都反对数据迁徙。这里咱们通过 RDS 作为模仿数据源导入并最终汇总生成集市层数据,在进行配置前,咱们首先要购买对应资源能力实现一整套的数据治理流程,具体需购买和提前创立的资源如下:
- 创立 VPC、子网、平安组
- 创立 OBS 桶,创立存储作业日志和脏数据目录
- 购买 DGC 实例,并配置默认工作空间
- 购买 CDM 集群,正式我的项目可思考应用 ROMA
- 购买 RDS 实例
- 购买 DLI 队列实例
在购买完对应资源后,需对原始数据进行导入,行将数据 SQL 文件导入到 RDS MySQL 数据库中,这一操作只需进入 RDS 数据管理页面,上传脚本即可疾速实现数据导入。数据源蕴含两张表,别离是门店表 (t_user_store_info) 和订单表(t_trade_order)。
RDS MySQL 原始数据导入后,咱们须要在 DLI 中建设雷同的表构造进行贴源层数据导入。进入 DLI 库表治理新建一个 DLI 库,以此作为项目表寄存 DLI 数据库。
随后在 DLI 的 SQL 编辑器中将建表脚本导入建表,表构造和表名称最好与 RDS MySQL 中原表统一。
数据导入后,在 OBS 服务中实现 DGC 日志数据和脏数据文件夹建设,以便后续 DGC 失常应用。
接下来就须要对数据进行入湖解决,这里采纳 DGC 的数据集成模块,DGC 批量数据迁徙 CDM 提供同构或异构数据元之间批量数据迁徙服务,能够帮忙企业实现数据的自在流动,反对关系型数据库、数据仓库、NoSQL、大数据云服务、对象存储等数据源。
这些数据源涵盖华为云 DWS、华为云 DLI、FusionInsight LibrA、Hadoop、OBS、阿里云 OSS、FTP、SFTP、NAS、MySQL、HWSQL、PostgreSQL、SQL Server、DDM、Oracle、Db2、Redis、MongoDB、CSS、Apache Kafka 等 30 多种数据源。
这些数据源能够作为源也能够作为迁徙目标,租户能够按需付费,管制和租户之间是齐全拆散的,数据始终是在原始地位,后续的作业、对数据的操作都是与原始数据隔离,通过 CDM 能够更加平安的爱护原始数据。
之前咱们导入的 RDS MySQL 云数据库服务作为源数据,另外一个则是数据湖摸索 DLI 的连贯,通过 CDM 服务咱们疾速生成 DLI 内贴源数据导入。
这里,CDM 提供自动化的字段映射,对于不同数据源数据类型不同这样的状况,CDM 反对数据类型一键转换。在 CDM 迁徙之前,咱们曾经提前将对应的表在 DLI 中建好,别离是 t_trade_order 和 t_user_store。这样 CDM 就能够进行疾速匹配。
通过 CDM 咱们就疾速实现了源数据导入贴源数据的数据迁徙工作,因为原始数据可能存在一直生成的问题,这里 CDM 也提供周期作业以此对数据进行导入。接下里,咱们再进行具体的业务场景设计和相干脚本的开发。
轻开发:开发高度可视化,SQL 脚本通用简略
华为云大数据轻量级解决方案最重要的特点是全流程的高度可视化,没有简单的代码编写过程,对开发人员的技术要求不高,能够从业务层面需要登程进行系统化的建模,再通过建模实现对应开发脚本的生成。整个过程十分的疾速高效,因为华为云大数据解决方案中的 DLI、DWS 等服务均反对规范 SQL 语句,因而各类脚本编写上难度不大。在本例中首先须要对业务进行建模,在造成对应的业务指标对贴源数据进行荡涤加工并输入有理论指导意义的参数。
华为云大数据轻量级解决方案将业务实体与实现细节紧密结合让需求方无需理解太多编程相干的细节,让开发方不用思考业务实现的逻辑。通过这套解决方案的 DGC 标准设计模块就能初步实现各类业务的需要指标设计并对数据进行标准化,蕴含主题设计、数据规范设计、数据模型设计、数据指标设计,通过标准设计能够依据客户的业务需要,进行对立的数据分类、数据标准化、指标定义和数据模型体系建设。
通过上述四个步骤,将业务数据化需要进行抽象化,就能够输入企业标准化数据中台设计。实现数据模型体系的建设,对于将来同行业的解决方案建设也有了参考价值。通过主题设计能够很快的实现信息架构的设计,针对不同类型的信息,还能够指定数据类型。
在主题设计实现后,就可进行数据建模。首先依据之前的主题设计进行建模,这里提供关系建模和维度建模两种建模形式,关系建模合乎 3NF,次要是去除数据冗余,使数据标准化,当存在多个数据形容同一个状况时,须要应用关系建模进行合并。维度建模则采纳数据结构化的办法进行建模,针对需要和指标对数据源进行维度、事实建模,相比于关系建模,维度建模紧紧围绕业务指标,十分直观显示出业务模型中的业务问题。维度建模包含维度、维度表、事实表、汇总表。
维度表多为业务指标的环境信息,比方工夫、空间信息等,这里咱们建模对门店和地区维度进行建模,这就是典型的空间信息。维度表是用户用来剖析数据的窗口,一个维度表能够对一组数据进行分类,且分组后的数据能够用来剖析。咱们以门店维度表为例,门店包含门店编码、店铺类型、营业状态、门店名称属性。咱们如果要计算坪效指标,能够进行门店坪效指标的计算、某一类型门店坪效指标的计算、营业中门店坪考指标计算等,通过这些指标能够定义一组数据。
事实表内容次要分为三类,别离是维度表外键、事实属性和度量属性。比方门店事实表蕴含地区外键、门店编码外键、经营面积、停业工夫等信息。
汇总表则能够对上述维度和事实进行演绎总结,得出相应的技术指标,咱们以地区坪效指标的设计为例。能够看到对应属性和相干内容的汇总信息,地区坪效指标能够通过技术指标进行确定。
DGC 将指标分为业务指标和技术指标两类,业务指标模块次要是以文字的模式定义某一指标,并以此为参考领导技术指标实现,咱们以坪效为例,坪效位于进销存治理中,依据坪效的定义,坪效就是门店销售额与门店面积的比例。通过这一文字定义,咱们来到技术指标中,实现坪效这一指标的技术定义。咱们也能够对员工的销售额与绩效关系进行对立的界定,对于需要调研层面的人员来讲,这些只须要文字描述就能够疾速实现各种指标和属性的确定。
通过以上的需要建设和治理,需求方很快的就将本人的业务需要确定好,整个过程都是可视化的,接下里再进一步的对指标进行运算剖析,最终造成有实际意义的领导数据,这里则通过技术指标实现对业务指标的具体实现,蕴含原子指标、衍生指标、复合指标。原子指标是最根底的算子,是纬度在模型中某一个属性或属性的简略运算,在坪效计算中,次要用于坪效计算的就是门店的经营面积以及理论门店产生的销售额。这两个指标形成了坪效计算的原子指标。
衍生指标则是对原子指标增加了一个纬度,对原子指标进行限定,使得这些原子指标更具参考价值,在坪效指标计算中,咱们能够依照工夫原子指标进行限定,从而衍生出新的指标。比方过来一年的某一地区的销售额、过来一年某一门店的销售额、过来一年某地区的经营见面等,这些衍生指标还能够进一步运算,失去复合指标。
复合指标则是多个衍生指标的聚合,用于输入最终的汇总数据,比方某地区过来一年的坪效或某门店过来一年的坪效。到这里坪效指标的标准设计就曾经实现了,实体定义与技术指标紧密结合,并且合乎标准化的设计规定。在各种技术指标的计算中,DGC 还提供一键式的 SQL 脚本,不便后续流程自动化的开发,帮忙开发人员进行疾速高效的编程脚本实现。
在信息架构中,咱们也能够通过 DGC 主动汇总的关系图理解到不同维度表、事实表、技术指标、汇总表的关系图谱,这里也不便运维人员疾速定位问题,以此进行高效运维。
如何高效的通过脚本和代码实现业务需要并实现一整条业务的流水开发,这对业务不相熟的开发人员来讲往往是个十分大的难题,但华为云大数据轻量级解决方案提供了一整套高效的开发流程,在需要放实现相干业务定义和指标设定后,开发人员则能够对需要进一步实现,在低代码量的根底上实现业务需要,真正实现编程“轻模式”。这里通过 DGC 数据开发模块实现脚本开发、作业调度、运维监控等性能实现业务流水,它反对业务流自动化、BI 报表生产线、云上仓库建设、日志剖析开掘等工具,实现从数据接入、数据存储、数据分析和计算到业务利用全流程的一站式 IDE 平台服务。通过数据开发模块,能够帮忙用户对入湖后的数据进行疾速的加工、荡涤,各种聚合运算,数据转换等。在作业开发页面,DGC 也为开发人员提供了残缺的开发流程介绍。
DGC 的脚本开发反对在线的支流数据库脚本开发调试,反对 DWS 脚本、DLI 脚本、Hive 脚本等;另外数据开发模块还提供了弱小的 ETL 算子,通过 ETL 算子能够在数据荡涤转换的时候省去开发人员大量的 SQL 脚本开发,间接通过图形化配置疾速实现大量的荡涤整合工作;DGC 的数据开发模块还整合了支流的数据开发能力和所见即所得图形化 ETL 工具的能力,最终整合成利落拽式的批流联合全链路开发运维,数据管道在运行后能够施行进行监控,不便运维人员疾速定位开发中所遇到的问题。
数据开发模块下的脚本开发提供了 DWS、DLI、Hive、Spark、Flink、RDS、Shell、Python 等多种脚本开发,反对代码补全、语法高亮、谬误提醒、执行历史记录等性能,能够帮忙开发者正确高效的编写。这里咱们构建了多个脚本,实现贴源层和明细层数据的荡涤,数据汇总,并最终导入到数据库中。
轻部署:可视化流水线构建,疾速定位问题
华为云大数据轻量化解决方案在业务部署上反对利落拽式的流水线业务部署,整个过程开发人员不须要进行专门的环境搭建,只需关注业务是否能实现即可,部署后,开发人员也可对业务运行过程中呈现的问题层层拆散,疾速定位。业务在执行上反对单次调度和周期调度,调度如呈现问题还能够进行实时告诉。整个过程没有简单的报警提醒,并可生成运维日报,不便运维人员对整体业务有所把控。
这里通过 DGC 的作业开发实现业务部署,它反对多种云服务工作混合编排,通过一系列节点形成一个无效的工作流。反对图形利落拽式的编辑作业页面,疾速实现自动化流水部署,并验证作业是否存在问题。
数据开发中的作业监控性能提供短信、邮件等揭示形式,不便开发人员第一工夫理解作业运行过程中可能呈现的异样情况。
轻运维:数据实时监控,封装服务凋谢
针对各类指标的监控,华为云大数据轻量级解决方案为提供业余的数据品质监控,不便运维人员对数据的动静进行实时的监控,并也可依据理论业务状况设定对应监控指标,帮忙企业产出更有价值的数据服务体系。同时企业也可将数据造成的集市层数据封装成服务,对外输入到 BI 软件或其余利用中,实现数据的最大化利用。对于运维人员来讲,无论是数据品质监控,还是大数据资产治理,抑或是数据服务的凋谢,这些齐全都是在高度可视化的模式下进行,无需简单代码即可实现数据产品的输入和监控。
这里华为云大数据轻量级解决方案中的 DGC 数据品质模块能够将业务零碎的指标和数据品质进行监控,能够依据业务指标校验规定对数据的完整性、有效性、及时性、一致性、准确性、唯一性这六个维度进行单列、跨列、跨行或者跨表剖析,包含存在束缚、非空束缚、主键唯一性束缚、实体唯一性束缚、取值范畴束缚、长度束缚、内容标准束缚等。通过上述指标校验,咱们能够对数据的品质进行评估,如果有些数据存在显著的品质问题,就能够向开发者发送邮件、短信进行告警。同时也能够对数据进行剖析和统计,之后将数据推送到客户的相应部门。最终晋升数据湖里整体数据的品质。
DGC 数据品质模块提供业务指标监控和数据品质监控两种监控形式,咱们能够依据之前设计的技术指标对指标进行业务指标监控,咱们以之前的坪效指标为例,首先在指标治理中抉择须要运算汇总的指标,并以此生成 SQL 脚本。
而后咱们就能够设定具体规定对指标进行监控,比方当全国均匀坪效低于 20 万,就登程年均匀坪效较低告诉。
在随后的业务场景治理中,咱们就能够启动这一指标的业务指标监控。
数据品质监控则可设定规定模版对数据品质进行校验,某人提供了多种数据校验模版不便运维人员疾速对数据进行校验。
数据品质监控的品质作业则可设定品质监控的内容,并对关联品质作业进行启停操作。启动后品质作业监控就会生成品质报告,以此帮忙运维人员对整体数据进行监控。
为理解各类数据资产的详细情况,华为云大数据轻量化解决方案提供一站式的数据资产演绎,业务资产、技术资产和指标资产三大部分,业务资产蕴含业务对象、逻辑实体、业务属性三大部分,技术资产则蕴含数据库、数据表和数据量。
这里通过配置数据元,能够创立数据链接,实现数据集中管理,并提供自定义策略采集工作,以此实现造成资产目录。帮忙企业一站式,实现数据报表整顿。
在数据目录下,企业能够看到所有的业务资产、技术资产和指标资产,业务资产是逻辑实体,通过逻辑实体咱们定义多样化的数据,以此领导造成技术资产和指标资产。
针对不同的技术资产,企业能够看到所有的表构造,同时血统剖析性能不便回溯数据源或作业。
对数据荡涤加工并剖析生成的集市层数据后,这些数据就能够以服务的模式凋谢给第三方,华为云大数据轻量化解决方案能够从 DWS、DLI、RDS 等华为云数据库中获取数据,并通过鉴权等伎俩向第三方输入数据接口,无需简单的代码编写,就能够通过 Serverless 的模式对数据产品进行凋谢,进而实现零编码的 API 生成能力,这种零编码的数据凋谢能力对于企业而言有着更加灵便的数据凋谢和治理能力,便于企业生成更加丰盛的数据产品。
华为云大数据轻量化解决方案中的 DGC 数据服务反对在线调试、一键公布,通过 Web 页面编排,能够疾速公布基于 Serverless 的 API 公布。反对多种数据源对外公布,这项性能基于 Nginx 和容器化技术,实现单容器 50ms 内耗时和 200 次 / 秒的 API 逻辑解析和转发速度,另外数据服务还基于 WAF 行为全方位检测,可精确的进行歹意申请辨认,过滤攻打流量。自动化监控和流量预警也不便开发人员疾速理解对外输入接口的状况。
开发人员能够对不同的 API 进行流量管制、应用时长、API 名称等信息,不便监控 API 调用状态。
DGC 数据服务还提供 App 调试,App 调试须要调用 SDK 进行拜访,数据服务提供基于 Java、C#、Python、Go、JavaScript、PHP、C++、C、Android 等多种支流语言的 SDK 包。一键下载,轻量化开发。
[图片上传失败 …(image-98bb7e-1653915730071)]
通过理论的体验咱们看到,华为云大数据轻量级解决方案的一系列服务,十分直观和高效的帮忙企业实现数据荡涤、数据加工、数据运算、数据分析等操作,企业重要的是关注业务自身,而不必关注实现的底层技术栈,不须要大量代码编写,也不须要技术人员吃透需要,需求方和开发人员都能够独立高效的实现业务定义和数据产品的开发。
在输入数据产品后,企业能够对这些数据进行可视化输入以便数据治理人员依据这些数据做出决策。
华为云大数据轻量化解决方案还反对多 BI 平台的可视化图形输入,帮忙企业实现更好的数据展现,无论是第三方的 BI 工具还是华为云自家的 DLV 数据可视化服务都能够很好的调用接口实现数据的展现剖析。
[图片上传失败 …(image-153f24-1653915730071)]
通过这些数据接入,企业能够通过利落拽的形式疾速构建专属的企业智慧数据大屏幕,造成丰盛多样的数据图表,不便进行及时的剖析决策。
总结
华为云提供的大数据轻量级解决方案,让企业实现了轻资产、轻开发、轻部署、轻运维的大数据治理模式,这样的“轻模式”让宽广的中长尾企业也领有了更加麻利的大数据治理能力,齐备的数据治理流程提供了一站式便当的数据治理体验,企业无需从头再来搭建平台、独自进行人员的开发和架构设计。基于 Serverless 的平台开发,让企业无需关注业务实现的技术栈,直观精简的开发过程,只须要把握 SQL 代码即可疾速实现开发。大幅节俭了企业的平台建设老本和人才老本。
全流程可视化的界面设计,即使是对没有数据开发教训的非技术人员,也能够敌对疾速的进行数据标准设计、数据品质监控、数据指标定义等工作。
DGC、CDM、DLI、RDS 等服务组成的一整套华为云大数据轻量级解决方案为企业的综合数据治理带来了弱小的内生力,大大开释了大数据底层运维治理的压力,让企业能更好的利用数据专一服务质量晋升、产品优化等。华为云大数据治理轻量级解决方案将来也将会很好的为中长尾企业赋能,帮忙他们实现更高层次的数字化转型
本文由博客群发一文多发等经营工具平台 OpenWrite 公布