最底层是Linux+PC Server,下层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,次要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该零碎在生产环境反对调度5000台机器的集群。
飞天比拟有意思的是模块的名字,都是从中国传统的神话中抉择,比方分布式存储模块叫盘古,调度叫伏羲。
站在hadoop的角度看,飞天提供的性能和hadoop是相似的,在yarn之前,hadoop次要的编程模型是MapReduce,飞天的编程模型是一个有向无环图,而且除了反对批处理工作以外还反对常驻的Service。实现的细节上当然齐全不同,首先实现的编程语言飞天就抉择了C++。其余像平安、运维体系都有很大区别。
ODPS是在飞天之上提供的一套服务,性能包含SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的性能是以RESTful API的模式对外提供,所以从零碎边界上说,这层API隔离了ODPS平台和用户的零碎,和hadoop的区别也很显著。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具备最高的优先级。
对于将来交通行业产生的影响不具备足够的常识答复,我想大略能够从大规模数据处理能力对交通运输行业的影响这个角度思考。在加上ODPS不便了大规模数据处理能力获取这个角度。
利益相干:阿里员工,前ODPS团队成员