关于云服务:阿里云的MaxCompute数加原ODPS用的怎样

40次阅读

共计 622 个字符,预计需要花费 2 分钟才能阅读完成。

最底层是 Linux+PC Server,下层软件是飞天,飞天是阿里云 09 年开始开发的一款分布式系统软件,次要提供分布式存储和分布式计算的调度、编程框架。开发语言是 C ++, 2013 年该零碎在生产环境反对调度 5000 台机器的集群。

飞天比拟有意思的是模块的名字,都是从中国传统的神话中抉择,比方分布式存储模块叫盘古,调度叫伏羲。

站在 hadoop 的角度看,飞天提供的性能和 hadoop 是相似的,在 yarn 之前,hadoop 次要的编程模型是 MapReduce,飞天的编程模型是一个有向无环图,而且除了反对批处理工作以外还反对常驻的 Service。实现的细节上当然齐全不同,首先实现的编程语言飞天就抉择了 C ++。其余像平安、运维体系都有很大区别。

ODPS 是在飞天之上提供的一套服务,性能包含 SQL,基于 java 的 Mapreduce 编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的性能是以 RESTful API 的模式对外提供,所以从零碎边界上说,这层 API 隔离了 ODPS 平台和用户的零碎,和 hadoop 的区别也很显著。ODPS 设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在 ODPS 的设计和实现中具备最高的优先级。

对于将来交通行业产生的影响不具备足够的常识答复,我想大略能够从大规模数据处理能力对交通运输行业的影响这个角度思考。在加上 ODPS 不便了大规模数据处理能力获取这个角度。

利益相干:阿里员工,前 ODPS 团队成员

正文完
 0