关于大数据处理:云原生的数据云下一个十年的数字化转型趋势

27次阅读

共计 2277 个字符,预计需要花费 6 分钟才能阅读完成。

数据量越宏大,数字化转型的意义也就越大,但转型这件事与企业外部多个技术部门严密相干,它不是某一个独自的团队可能独立实现的工作,而是须要企业的业务部门、数据资产治理、开发利用等更多部门协同单干,因而,越是大型企业数字化转型的难度就越简单。企业须要突破传统烟囱式架构设计,用全新的数据云模式来实现数字化转型。

01
数据、利用、基础设施—数字化转型亟待解决的三大难题

对于企业而言数字化转型蕴含三个因素:利用、数据和基础设施。而目前阶段,企业的每个因素都存在着不同的问题。

对于企业应用而言,不同的利用都是由不同团队独立建设、独立开发的烟囱式架构,这种架构导致企业不得不反复造轮子,岂但造成人力和资源的极大节约,同时也减少了运维和治理的老本。

烟囱式架构设计导致的另外一个问题就是数据孤岛景象,因为不同团队各自建设利用,数据没有买通,或者同一份数据在多个业务零碎内保留,短少统一标准,导致难以进行数据管控和品质晋升,也难以从一个个孤岛中开掘数据的价值。

最初一个因素是基础设施,企业在不同期间建设利用的时候,采纳的基础架构也不同,基础设施多种多样,包含传统物理机部署、虚拟化部署、虚拟机部署、云部署、云原生部署等,基础设施不对立,导致建设利用、归集数据的压力十分大。

02
大数据与云技术的倒退与交融

八九十年代时,企业应用少数是单体建设,基于独立的数据库、物理机或者虚拟化的形式。2000 年左右云计算呈现了,建设利用的模式也产生了变动,对数据而言,这个阶段曾经做到云上的对立收集。2018 年之后,云原生的概念倒退起来,企业心愿本人的利用是基于原生进行部署的,享受云原生带来的疾速、弹性、灵便按需等能力。

对于大数据技术,曾经从数据的对立归集到了大数据 3.0 模式,从数据资产到价值再到数据服务化。而当初对基础设施的要求就是能通过一套云原生的基础设施去承载企业的不同利用,收集企业的所有数据,进行企业数据化转型的大数据底座的建设。

数据是企业十分重要的生产因素,数据和数据价值的演进也通过了四个阶段:通过数据仓库和数据库对数据进行对立收集整理的数据统一化阶段、通过数据治理造成高质量数据的数据业务化阶段、通过数据智能与剖析实现数据资产化的阶段以及通过数据共享交易实现数据的生态化阶段。

随着数据价值的演进,大数据和云技术也在一直演进以适应这种数据价值的开掘,大数据的倒退链条是从 2004 年 Google 提出大数据分布式计算框架 MapReduce,到加州大学伯克利分校的 AMP 实验室所开源的专为大规模数据处理而设计的疾速通用的计算引擎 Spark,到起初呈现的低延时流解决引擎 Flink 等更多机器学习框架大量涌现,解决大数据量大、疾速等的特定需要。2017 年星环科技公布了首个基于容器云的极速大数据平台 Transwarp Data Hub。与此同时,云的技术也在一直演进,从开源的云计算治理平台我的项目 OpenStack 到开源的利用容器引擎 Docker 再到当初基于 K8S 等技术的云原生。

2018 年星环科技,把大数据和云这两条技术进行了交融,星环基于底层云原生基础设施平台,把大数据进行了容器化部署和云原生调度,造成了星环数据云 TDC,数据云是以新一代云原生技术为根底,以数据为核心,供残缺的数据利用以及剖析的开发工具,造成数据和利用互联互通的企业级云服务。

03
数据云,将来 5 -10 年企业数字化基础设施

随着技术的提高和业务需要演进,企业的利用、数据、基础设施都在不停地迭代,这种迭代也促使数据云从概念走向落地。星环基于云原生的数据云 TDC 实现了数据 PaaS、利用 PaaS、剖析 PaaS 三云交融,将来企业的开发人员,就能够在这个标准化的 PaaS 服务之上实现 SaaS 利用的开发,而这也是未来 5-10 年企业数字化基础设施建设的新模式。

TDC 的联邦云架构兼容多种根底设置,能够将企业公有云、私有云以及公有云和私有云混合基础设施进行对立接入和对立纳管,可利旧并兼容已建设的 IaaS 根底设置,造成残缺的云基础设施,可能反对企业级数据利用云平台的长期演进。

在云在基础设施之上提供了数据 PaaS、剖析 PaaS、利用 PaaS 能力。TDC 剖析 PaaS 提供了数据迷信平台、常识图谱平台等智能剖析工具,通过剖析 PaaS 企业能够自主建模造成一些智能化利用;TDC 的利用 PaaS 提供了利用市场和利用开发平台供企业应用开发人员应用,通过利用 PaaS 企业能够建设不同的业务零碎服务不同的部门;TDC 的数据 PaaS 是提供大数据平台、大数据开发工具等,通过数据 PaaS 能够解决大数据开发、大数据治理等问题。

除此之外,TDC 提供了数据云治理平台 Transwarp Data Cloud Management Platform,有了这个数据云治理平台企业用户就能够自服务的对大数据产品进行部署、运维、装置、扩容、降级。在云治理平台上星环把开源的以及星环自有的产品打包成一个自服务的产品,提供给最终用户。

将来,随着业务端人员对数据服务的需要越来越多,企业须要开发大量新的数据利用来继续的迭代业务,改良用户体验,这其中就包含实时类、AI 类、在线数据类业务的大量翻新和尝试。

而面对这样的趋势,唯有通过数据云的分层设计和更优良数据建模,以及提供多种不同的数据计算能力才可能满足,数据云 TDC 能够依据业务负载进行弹性的伸缩,最终须要云计算技术来反对弹性、灵便的数据服务和利用。

企业将来 5-10 年的数字化转型之路,唯有以数据为外围,实现数据的互联互通,能力一直重构和降级数字化基础设施的建设新模式,以此作为翻新与改革的撑持,实现企业数字化转型的降级和迭代。

正文完
 0