11月3日,2022云栖大会上,阿里巴巴团体副总裁、阿里云计算平台事业部负责人贾扬清示意,为满足用户多元化数据计算需要,阿里云ODPS降级为一体化大数据平台。
降级后的ODPS反对大规模批量计算、实时剖析等服务,提供实时流式计算、机器学习等多种计算能力,可同时调度超10万台以上服务器规模进行并行计算。ODPS也是目前中国惟一自研、利用最为宽泛的一体化大数据平台。
ODPS降级:存储、调度、元数据一体化交融
随着数据技术和数据利用的倒退,催生了多元计算需要。贾扬清介绍,例如交通畛域,须要实时数据计算,来做城市大脑外面人流车流的优化;科研方面,须要AI算法辅助传统物理化学生物钻研翻新;保险畛域,须要大量数据聚合来进行更精确的危险精算。 ODPS实现了存储、调度、元数据管理上的一体化架构交融,撑持上述各类数据的高效解决。
自2009年诞生以来,ODPS从冲破单集群规模到通过多租户隔离打造金融级云上平安,为冲破业界难攻的技术难点而一直降级架构。2017年,ODPS将大规模批处理引擎MaxCompute以独立产品模式对外提供服务。2019年,应答数据实时交互剖析的需要,交互式计算引擎Hologres正式上线。
在刚刚颁布的TPC-H 30000GB基准测试中,ODPS-Hologres刷新世界纪录,分数超过2786万分,当先第二名23%。ODPS-MaxCompute则在TPCx-BB 100TB规范测试中,间断6年放弃性能和性价比第一。
大数据和AI走向交融 小鹏汽车AI训练提速170倍
“大数据平台和AI平台正在走向交融”,贾扬清示意,不论是大模型生产利用、AI for Science、还是传统的搜推广服务,典型的AI利用场景背地,都离不开数据的高效流转和剖析。
例如小鹏汽车与阿里云单干,建设了大数据AI一体化平台,实现从海量路采数据的传输存储剖析、到AI模型训练推理的全流程提效。此外,基于软硬件协同优化技术,小鹏汽车主动驾驶外围模型训练提速近170倍,训练性能较开源计划晋升30%。
自公布大数据+AI一体化产品体系“阿里灵杰”以来,阿里云一直推动数据智能在产业中广泛应用。机器学习平台PAI继续夯实AI工程能力,实现深度学习框架和计算硬件的多样化兼容,以弹性且稳固的云原生AI平台服务,撑持主动驾驶、生命科学、金融等畛域翻新。此外,达摩院基于阿里灵杰,推出模型凋谢生态 ModelScope 和 AI 凋谢服务平台 OpenMind,进一步推动AI普惠。