在互联网市场的头部效应下,企业所面临的竞争压力越来越大,如何无效解决获客老本高、用户黏性低、变现能力弱等问题,正是越来越多的企业开始构建大数据平台的初衷。
但因为大数据解决方案所波及的组件盘根错节、技术门槛较高,且初期投入的资源和前期的保护老本较大,非常考验企业的大数据平台组建和运维能力。因而,UCloud 大数据团队于近期上线了大数据智能平台(UCloud Smart Data Platform,下文简称 USDP),旨在帮忙企业疾速搭建大数据分析解决平台,并对大数据集群进行集中管理,从而升高企业的大数据开发、保护老本。
一站式大数据智能治理平台
USDP 是帮忙企业构建云端托管型的一站式大数据采集、存储、剖析、利用和运维的智能平台。其产品架构图如下:
从上图能够看出,USDP 是构建在 UCloud 私有云 IaaS 根底资源之上,提供 Hadoop 生态的服务零碎,如 HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等泛滥开源大数据服务组件,并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维治理,从而帮忙企业疾速构建起大数据的剖析解决能力。
用户可通过 USDP 不便疾速地部署大数据集群中的各类服务与组件,并集中式地运维这些组件。且在部署服务与组件的过程中,USDP 能够全自动化实现整个流程,大大降低了部署老本。
同时,USDP 中集成的实时监控视图与告警策略能够帮忙运维人员及时获取异样告警信息,疾速定位和排查问题。
除此之外,USDP 高度集成了 Hadoop 生态中的服务与组件,并且全副基于 Apache 版本实现适配,无深度批改,因而用户无需放心服务组件应用过程中造成的 API 不兼容问题,用户业务也无需放心被非 Apache 开源协定之外的服务框架所绑定。
轻量级、自动化运维的大数据“管家”
USDP 作为纯国产化、UCloud 自研的大数据管理服务,能够实现云上、云下交互的便捷对立,其具体特点如下:
- 全面的组件反对
基于开放式的治理架构,USDP 集成了 30 余款开源的大数据组件,涵盖数据集成、数据存储、计算引擎、任务调度、权限治理等大数据处理的各个环节,全面性为业界之最。企业能够依据本身业务特点和需要,从中抉择相应的组件来搭建本人的大数据处理平台。
- 欠缺的监控告警机制
源自多年的大数据运维教训积淀,USDP 为每款组件预置了欠缺的监控和告警模板,丰盛的监控指标和灵便的告警形式,帮忙用户及时把握各个组件的运行状况,进行必要的保护和优化。与此同时,智能化的故障诊断工具和业余的技术支持团队,为大数据集群的稳固运行保驾护航。
- 可视化工作流 UDS
UDS(UCloud Data Studio)是一款 UCloud 自研的轻量级、分布式、易扩大的可视化 DAG 工作流任务调度零碎。通过拖拽式的工作流开发 IDE,简略 Web 式拖拽操作来实现整个大数据工作流的工作开发。内置了丰盛的处理器,多样化的工作反对:Shell、Python、Hive、Spark、MR、SQL、子流程等。
UDS 提供可视化的流程定义能力,可对大量异构数据源提供高速稳固的数据集成能力,并在同步过程中实现对数据的 ETL 操作。
- 平安稳固
私有云 USDP 的底层资源为用户所独享,集群位于独立的虚构公有网络中,实现了无效的平安隔离。同时,USDP 集成的各个组件编译自 Apache 社区稳固版本,通过了严格的兼容性测试和压力测试,关键性组件都反对高可用个性,确保集群稳固牢靠运行。
- 弹性易用
针对大数据利用场景,私有云 USDP 提供了丰盛多样的机型(大数据物理机、一般云主机、快杰云主机等)供用户抉择,并联合私有云的弹性伸缩能力,无效管制理论应用老本。向导式的操作流程和欠缺的场景案例,帮忙用户轻松上手。
- 反对私有化部署
USDP 除了与 UCloud 私有云 IaaS 集成,还能够作为独立的大数据组件治理平台部署在私有化的数据中心,并兼容虚拟机、物理服务器环境。为私有化部署的客户提供与私有云体验统一的大数据平台服务。
UCloud 还提供基于 USDP 的软硬一体交付计划,已提前预装实现 USDP 服务,实现用户插电即用的大数据平台治理服务。
典型利用场景
1、数据仓库 目前国内最罕用的数仓模型为维度数仓,就是依照事实表、维度表来构建数据仓库、数据集市。在该体系中,维度是形容事实的角度,如日期、客户、供应商等,事实是要度量的指标,如客户数、销售额等。通过 USDP,用户能够部署构建维度数仓所需的所有服务,帮忙企业疾速构建数据中台。
2、机器学习 在机器学习畛域,对运算往往有大量需要,通过 USDP 中的 Spark、Flink 等分布式运算框架,搭配官网算法或自研算法,即可事倍功半的进行机器学习开发。同时,在深度学习畛域,建模所需的大量数据,也能够存储于 HDFS,从而真正实现一站式开发。
3、实时计算 能够利用 USDP 中的 Kafka、Flink、Spark Streaming 对数据进行实时处理,来满足实时风控、实时举荐、实时日志剖析、实时点击等场景需要。
总结
大数据时代,数据作为企业的外围生产因素,其暗藏的商业价值离不开大数据技术的深度开掘,而 USDP 的推出正是为了解决目前企业构建大数据解决方案所面临的高老本、高技术门槛等问题,助力更多企业疾速构建大数据服务,充沛开释数据生产力的商业价值.