共计 2327 个字符,预计需要花费 6 分钟才能阅读完成。
近日,星环数据云平台 Transwarp Data Cloud(以下简称 TDC)正式推出 3.1 版本。TDC 是采纳云原生技术,交融星环科技全系产品打造的对立 PaaS 平台,能够为企业提供数据流通交易平台、企业湖仓一体数据湖、企业数据中台、联邦云、企业数字化转型、政务大数据、云原生数据迷信云和高并发数据利用八大解决方案,可能满足企业各种数据处理场景的需要,帮忙企业实现企业数据与利用的生态化建设。截至目前 TDC 曾经为政府、银行、基金、能源等多个行业提供残缺的数字化建设解决方案。
在星环科技 2022 年秋季产品公布周上,TDC 重磅公布了 3.0 版本,提供了三大外围能力:第一,反对星环科技全系产品新版本,同时 PaaS 能力继续加强;第二,新增联邦云治理性能;第三,平安降级,新增隐衷计算区。3.0 版本公布以来被泛滥客户认可,是一套优良的数据云平台。通过半年的打磨,TDC 再次推出 3.1 版本,此次的新版本新增了八大性能,同时对原有能力进行了优化降级!
新增滚动重启、存储扩容、存储回收站等八大外围性能
滚动重启,保障业务连续性
新增对多正本高可用角色(工作负载)的滚动重启能力。将底层滚动重启能力和业务重启逻辑联合,在变更过程中,实现了分布式系统的牢靠主动有序重启,保障在 TDC 上运行的大数据业务的运行连续性。
多种存储扩容形式,满足数据持续增长
反对对星环科技存储引擎 TDFS、TDDMS 进行手动扩容存储,扩容形式反对在线减少磁盘大小、减少磁盘个数、减少正本数。在扩容开始前零碎将进行资源预检,无论是否能够胜利扩容,都不会影响原来业务运行,并且在扩容过程中可失常提供数据读写操作。
存储回收站,防止数据误删
删除 TDFS、TDDMS、KunDB 组件或所属实例时,数据不会间接被删除,能够抉择放入回收站,从而防止用户误操作删除数据导致生产事变。反对展现租户回收站内的存储总量,并可按需一键清理并查问清理记录。
高性能网络,满足 TP 场景高性能需要
引入 Macvlan 高性能网络,业务可按需开启高性能网络,满足 KunDB 等对网络性能的要求。相较于开源 Macvlan 网络计划,TDC 的计划没有物理网段的限度,能够任意自定义第二块网卡应用的网段(包含物理网段,因而不须要申请额定申请固定的 IP 网段),并且可能主动的提供第二块网卡的服务发现,残缺实现了底层 Kubernetes 的 Service 性能。
除此之外,TDC 的网络能力还做了如下改良:
l【VIP】虚构 IP 反对绑定二层网络下的节点汇合(网络可用区),虚构 IP 将在抉择的可用区对应的网段中创立,从而能够做到内部流量不只是通过 master 节点进来,进步了集群解决内部流量的能力,也通过扩散到不同节点进步了可用性。
l【SLB】为组件配置 SLB 时可开启流量转发高性能网络,开启后拜访配置对象的流量将会被转发至高性能网络上,晋升拜访性能。
联邦云网络对立治理,更便捷联通两地集群
通过对立的域名解析体系实现联邦星散群之间的网络连接与通信,买通底层多个集群之间的网络。利用场景有:对立治理分布式部署在不同集群上的数据库实例,扩散读写申请流量,进步读写效率,同时撑持在多个数据中心之间星环产品(例如 KunDB)的数据安全通信需要。在传统跨机房通信中,是通过手工搭建的形式实现的,搭建过程比拟繁琐,消耗人力和工夫,联邦云实现了主动的跨集群通信,更加便捷。
开源生态对接,更好满足客户多样需要
实现开源 Spark 在 TDC 的上架和运行,并与星环科技大数据体系对接,以便更灵便满足客户应用场景以及撑持星环智能剖析工具 Sophon:
l 反对在 TDC 上可视化部署 Spark,反对 HA 部署,反对通过运维入口查看历史工作,反对资源扩容和缩容。
l 反对对接星环科技大数据安全管理软件 Guardian,反对对接开启平安的星环分布式文件系统 TDFS。
GPU 分组,更灵便治理 GPU 资源
反对 GPU 分组,能够精密治理和调度 GPU 资源,不同工作负载或者租户在应用时,能够指定分组的 GPU 卡资源,实现资源分组和配额治理。
高可用加强,晋升平台可靠性
针对客户对于高可用的更高要求,TDC 从操作系统层开始进行梳理,并通过严格的高可用测试,改良了 TCOS 和 TDC 云管平台,以及云产品星环科技大数据开发工具 TDS 和智能剖析工具 Sophon 的高可用能力,能够实现单组件正本、硬盘故障、网络故障、管制单节点故障、工作多节点故障下,平台依然能够失常对外服务。
同时,为了晋升易用性,TDC 还新增了模块化装置性能,装置 TDC 时可按需选装所需零碎服务,后续有须要时可通过 TDC 装置工具按需部署。目前可选装包含微服务引擎、DevOps、利用市场、数据市场模块。
除新增性能外,TDC 本次降级也对原有性能进行了优化和降级,其中包含:
l【对立用户】TDC 各零碎实现对立用户、登录和门户,同时兼容原有租户用户管理模式,晋升用户登录体验。
l【权限管控】加强 HDFS 权限管控,解决不同租户的同名用户权限不隔离的问题,实现多租户共享 TDFS 目录权限隔离,标准并实现上游组件在 TDFS/ Zookeeper/KunDB 创立不同门路,同时反对白名单机制,实现跨租户拜访 TDFS 权限由 Guardian 严格控制。
截至目前,星环科技数据云平台 TDC 曾经在数十家大型企业落地,笼罩多个行业。其中典型案例包含:为江苏农信建设的大数据 DAAS 利用平台,晋升了江苏农信数据输入服务能力;为上海大数据中心建设了上海市数据共享替换平台,为一网通办、政府大屏、政务决策等政务利用提供撑持,无效晋升政府部门办事效率;为中化中化信息大数据平台建设提供了一站式的大数据解决方案,充沛整合和治理企业各个系统全生命周期数据,疾速开掘数据背地的价值,综合晋升企业治理和经营能力。