共计 4143 个字符,预计需要花费 11 分钟才能阅读完成。
随着互联网技术及挪动设施的遍及,大量数据井喷式的产生和积攒,如何无效地对海量数据进行计算及剖析解决,将成为企业买通大数据与业务翻新链路上的重要节点。
智能大数据平台 USDP(UCloud Smart Data Platform)是 UCloud 优刻得基于多年大数据平台开发教训,自主研发的智能化、轻量级的大数据根底服务平台,提供一站式大数据集群治理和运维能力,可能帮用户疾速构建起大数据的剖析解决能力。USDP 全面兼容开源生态,辅助企业用户疾速实现大数据根底平台的建设和管制治理;联合灵便牢靠的部署形式,构建海量数据的流批一体及数据湖仓一体架构,实现对数据品质、可用性、可靠性、安全性等多方面的数据治理体系建设。
数据计算、剖析、治理面对的挑战
在新场景、新技术及新利用的推动下,数据量呈爆发式增长,在指数级增长的海量数据和类型多样的数据模式下,给企业的大数据处理能力带来了诸多挑战,企业须要从数据采集、存储、解决到数据展现及利用全链路构建或优化解决方案。
●多源异构数据采集:针对数据源的结构化数据、半结构化数据、非结构化数据等多种数据源及数据类型,须要多种组件及工具进行多源异构数据集成。
●流批一体化解决:全面使用大数据处理技术,由批处理场景演变为时效性更高的流解决场景,来保障业务决策的准确性和高效率,适应业务疾速倒退须要。
●对立运维治理:为使数据驱动业务翻新,面向不同场景须要疾速构建并治理不同架构的大数据平台,让数据无缝进行流通、计算、解决及剖析利用。
●国产化信创:随着中国信息技术利用翻新产业(信创)的疾速倒退,在积极参与信创产业倒退的同时,大数据技术信创需要愈发凸显。
六大产品劣势,疾速构建大数据的剖析解决能力
大数据业务零碎作为企业信息系统的重要组成部分,近些年来亦成为信创的关注焦点之一。针对私有化部署场景,UCloud 推出的一站式智能大数据平台 USDP,可灵便构建于 IDC 物理服务器、云 IaaS 虚拟化,依靠于自研的 USDP Manager 管理工具,实现对多套大数据集群的治理,并可使用户独享大数据集群。反对开源 Hadoop 全生态,进行集群、服务、监控告警、故障诊断等智能化的运维和治理操作,从而帮助用户轻松构建和治理大数据业务剖析解决能力。
随着 USDP 在诸多行业及客户场景的使用,UCloud 以用户需要为导向,不断完善产品设计和迭代更新,全新推出智能大数据平台 USDP 3.0,进行一系列性能及大数据生态降级,以更好地服务用户的数据处理和剖析需要。
USDP 3.0 具备以下外围能力:
1) Web 控制台,轻松治理大数据集群
USDP 集中化的治理控制台,在本次版本公布中,减少了集群治理视图性能,该视图使集群管理员对整个集群的服务状态高深莫测;并可采取便捷的治理措施调整,保证系统的高可用和稳定性。
在 USDP 中,管理员可通过自动化向导的形式疾速获得大数据服务对业务的反对;集中化的治理界面中,企业经营团队能够便捷的管制和调整服务配置和资源分配,以及一键开启 / 敞开 Kerberos,极大简化配置和治理的复杂性;自动化向导反对疾速部署集群、扩大集群主机、给集群增加新的大数据服务,扩大服务实例等操作;联合预制的告警模板和自定义告警,使用户能够清晰把握集群和集群中所有服务组件的运行状况。
2) 一键开启或敞开 Kerberos 平安模式,为大数据服务的平安保驾护航 **
数据和服务的平安保障,始终是企业非常重视的问题。USDP 3.0 具备大数据服务安全性爱护能力,通过流程化配置,疾速开启对集群服务的检测,联合细粒度的权限控制能力,使得大数据集群服务及数据的安全性整体上失去爱护。
在 USDP 中,反对了向导化和自动化治理平安模式,通过 Kerberos 的使用,为集群中的用户、服务和主机提供身份认证和受权治理能力,其弱小的安全性和跨平台反对个性,确保只有通过身份验证的用户能力拜访受爱护的资源,为集群免受未经受权的拜访和攻打提供了强有力的爱护,帮忙集群实现高度的安全性和可靠性。集群中的各个组件和服务(如 HDFS、YARN 等)能够通过 Kerberos 进行认证和受权治理,从而爱护数据和应用程序的安全性。助力企业晋升管理效率和信息安全程度。
3) 大数据集群平滑降级,为需要降级提供无力撑持
集群的继续平滑降级能力,是保障用户基于该平台构建和治理的大数据服务,并取得继续保护和降级的重要撑持,平台及服务的灵便扩大能力,是应答随业务需要一直变动的架构优化的迫切需要。
企业在大数据相干业务方面的一直拓展和深刻,数据类型变得更加丰盛,数据量级爆发式增长,对数据处理时效的需要一直进步。因而,对于企业后期围绕数据仓库技术构建的大数据平台零碎也带来了更高要求,亟需进行系统性降级和技术架构拓展,以满足企业业务继续倒退的须要。
USDP 反对集群的继续降级和组件个性等继续拓展。用户可灵便抉择大数据平台架构。无论是数仓架构的优化、流式计算的引入,甚至向流批一体架构、湖仓一体等架构演进,通过 USDP 都能取得撑持。
4) 配置角色组治理,无效晋升资源利用率和管理效率
角色组的性能,是将服务配置按实例角色类型调配给相应的角色组,组中各个角色继承这个组配置,助力大规模分布式服务便捷治理;依据集群主机环境、服务的特殊要求,为不同的主机或服务自定义调配不同的角色组,从而达到资源利用率和管理效率的无效晋升。
5) UDH 更新及公布,多版本可灵便抉择
UCloud 大数据组件发行套件,集成了丰盛的开源我的项目,使企业可灵便构建一个性能先进的大数据系统;套件提供了弱小的主动部署、治理和监控工具,便于用户操作保护大数据集群;套件中蕴含了更多的补丁和性能个性,为分布式大数据系统提供稳定性和性能保障。本次 UDH v3.0.0 的公布中,使其囊括的数据采集工具、流批计算引擎、调度零碎、存储系统等服务,可全面兼容 Hadoop 3.3.4 版本生态。
6) 宿主环境的修复能力,为运维人员减负
大数据集群宿主环境的修复及初始化能力,大大简化了根底运维在搭建大规模集群前,所须要进行的繁琐的基础设施环境筹备工作;自动化修复工具良好的幂等性反对,能无效管制手动运维的出错概率,极大的升高运维人员的工作量和保护老本,保障了零碎稳定性、可靠性及安全性。通过工具自动化的能力实现疾速部署、配置、降级等简单操作,使用户更加专一于数据分析业务的推动。
要害利用场景
1) 离线 / 实时数仓架构场景
离线数仓将数据从源零碎中抽取进去,通过荡涤、转换和加载(ETL)等步骤,使数据依照肯定的规定组织到数据仓库中,再通过报表等形式对数据进行剖析和开掘。而离线数仓所善于解决的大规模数据能力,却不可避免的带来肯定的数据提早性,而实时数仓解决了这一问题。
在实时数仓中,以实时或近乎实时的形式解决数据,将数据通过流式解决引擎(例如 Kafka、Flink 等)实时抽取、荡涤、转换和加载到数据仓库中,再通过可视化工具等形式对数据进行实时监控和剖析。基于 USDP 中丰盛的大数据技术的抉择,企业可依据本身的倒退须要,灵便搭建并一直优化整合本人的大数据平台架构,构建合适的数仓架构场景。
2) 流批一体架构场景
流批一体架构的思维是将流解决和批处理整合在一起,提供更加全面和高效的实时数据分析能力。如应用 Flink 引擎及 Kafka 音讯队列等引擎和工具的组合架构,能够在实时数据流中进行简单的事件驱动解决,并兼顾批处理工作。依靠于 Flink 引擎提供的丰盛的流解决和批处理 API,和弱小的状态治理和容错能力,使得流批一体架构能够更加牢靠和高效地解决数据。在缩小架构的复杂性和保护老本的同时,使企业达到更加灵便地解决数据的目标,并更好地适应业务需要的变动。而 USDP 中提供了丰盛的大数据生态服务、工具和框架的反对,能很好帮忙企业构建灵便且简单的大数据处理架构。
3) 数据湖 / 湖仓一体架构场景
在将数据湖和数据仓库的长处深度联合的“湖仓一体”数据架构中,以多种格局的数据对立存储为根底,可很好的防止数据冗余和一致性问题;对立高效的数据处理和清洗带给数据品质和可用性无力保障;在该架构的撑持下,企业可发展如批处理、流解决、实时处理等多种模式的数据分析形式,借助 SQL 查问剖析、OLAP 剖析、数据挖掘、机器学习来满足利用的剖析需要;通过该架构,更有利于企业实现数据的治理和治理,从而进步数据的可靠性和可信度。Hadoop 生态系统、HBase、Hive 等存储框架、Kafka 流解决平台、Presto 查问引擎、Flink/Spark 等流 / 批处理框架、以及 Hudi、Iceberg 等引擎和存储格局,正是构建湖仓一体架构所须要的,USDP 能够无效解决这些工具、框架和服务的互相兼容问题,以及对立的治理和监控保护,给企业带来丰盛且便捷的反对,以满足企业对数据的各种需要。
落地案例
USDP 智能大数据平台的公布,将致力于帮忙企业快捷构建和治理大数据业务的剖析解决能力,晋升数据分析治理能力,开释数据价值,驱动业务翻新。当下 USDP 大数据平台已在多个行业客户案例中落地,基于一站式数据处理能力,撑持用户业务翻新:
●某能源行业大数据系统须要对电力数据进行采集和剖析,对数据的采集频度、精度及提早要求较高,对于大数据根底平台架构的稳定性和性能要求十分高。UCloud 为用户提供优钛公有云及 USDP 智能大数据平台,独特承载大数据分析解决和数据业务利用。如通过 USDP 采集耗电数据,通过数据处理算法,对采集上来的异样数据进行修改,实现耗电趋势剖析,在一直累积的数据根底上,进行数据模型训练,实现电量精准预测。
●航天科技某研究所品质精益剖析零碎,基于科研产品研制过程数据,通过全链路生产数据的集成,买通信息链,提供产品生产数字化履历、品质问题复查、设计个性剖析、可靠性量化评估、产品质量情况异样等业务利用性能。采纳 USDP 构建一站式大数据根底平台,由源数据层、数据存储层及数据处理剖析层形成,进行数据集成、接入和预处理,联合数据分析和展示应用层实现数据的具体利用,施展数据价值,晋升产品研制的品质。将来,优刻得 USDP 大数据团队将亲密关注并紧跟大数据技术生态和趋势,联合用户需要和场景提供更多大数据场景组件和最佳实际计划,为企业提供更多牢靠、平安、可扩大的大数据分析解决性能。