关于存储:一击进榜达摩院十年扫地僧揭秘阿里云数据仓库逆袭之旅

57次阅读

共计 3039 个字符,预计需要花费 8 分钟才能阅读完成。

简介: 占超群,花名离哲,阿里巴巴团体研究员,数据库 OLAP 产品部负责人。离哲说,这个花名的由来,是武侠小说里的一个人物。他不是天性过人那种角色,却凭借本人的保持和致力,最终达到了高峰。在云技术这个战场上,数据库是核心技术厮杀最强烈的新战场。在阿里,离哲始终保持长期主义的技术态度,最终率领研发团队,研发的产品云原生数据仓库 AnalyticDB 和云原生数据湖剖析 Dala Lake Analytics 失去广泛应用,取得浙江省科技进步一等奖,技术上也实现了对 TPC 榜单的逆袭。

2011 年退出阿里巴巴,在近 10 年工夫始终从事数据仓库、数据湖根底平台钻研、研发、产品化相干工作。目前在阿里云数据库事业部次要负责数据仓库与数据湖相干产品的研发;达摩院数据库与存储实验室研究员。

数据库这个词你可能有些生疏,但其实,所有的古代生存背地,都暗藏着数据库的服务。你的每一次生产、每一次股票交易、每一条微博动静,都离不开数据库。

人类的倒退跟数据非亲非故,人类最早的时候,是从结绳记事开始;到起初,能够把文字记录到甲骨文上;再到起初咱们开始有了计算机。从人类诞生开始,人类就在不停地记录信息,其实那就是数据库的雏形。

1960 年阿波罗登月打算,美国航空航天局 NASA 为了记录整个航天过程中的所有信息,联结 IBM 研发出了第一代数据库——IMS。随后数据库技术开始进入民用畛域并失去广泛应用。

Q:您过后为什么抉择退出阿里?

占超群:应该是在 11 年左右,那时候意识很多淘宝的敌人,过后整个淘宝其实也倒退很快。我记得印象中如同在 2011 年的时候,淘宝的日独立 UV 超过 1.2 个亿,而后那时候我感觉可能淘宝是最有机会去实现一个很重要的技术冲破的中央。

Q:在阿里工作近十年,您有遇到什么窘境吗?​

占超群:印象中比拟粗浅的窘境是在刚来的第五个月的时候,原本主管要求我是两个月要上线的。然而我做了五个月还没上线。那时候产生了第一次理念的抵触。

其实主管给我要求做一个为单个业务服务的数据处理技术,还不能称之为数据库系统,他说你把这事件做好就够了。我过后跟主管讲,这个事件不是为单个业务服务的一个模块,而应该是一个平台型的设计和平台型的零碎。咱们俩一起聊了很久,最终我感觉还是很侥幸的,大家还是达成了统一,主管感觉这个事件有价值。

所以我过后第一天就依照一个数据库的状态去倒推明天该怎么做,思考到描述语言 (SQL)、优化器、存储引擎、执行引擎,从最开始反对一个到两个到 20 个业务,到明天的 500 多个,团体的剖析业务根本都笼罩了。

Q:2019 年,阿里巴巴的 AnalyticDB 数据库荣登 TPC-DS 榜单第一,终于突破了甲骨文和微软在数据库畛域的霸主位置。您过后怎么想到要去冲击 TPC 榜单?

占超群:18 年的 10 月份,我记得是在一个早晨,我拉了团队几个外围的骨干,我说咱们要去冲击一下 TPC,打磨下咱们端到端的技术,依照国际标准进行极致与严格刻薄的端到端验证。

过后他们都比拟拥护,他们看了报告感觉好多货色都看不大懂,甚至第一反馈不是很了解背地考查什么?要用什么技术去解决?这个外面其实挑战是很大的,但我说这个事件咱们必须去,我说这是咱们很重要的一个飞跃点和技术验证点,这些技术通用化是能够很好地打磨产品,也会对客户产生很大的价值。

Q:很多人可能会感觉去挑战一个长期被国外巨头垄断的数据库技术榜单,您是给本人定了一个过高的指标,您中途是否有想过放弃?

占超群:我是很动摇的。但过程真的十分苦楚。我花了大部分工夫和大家在我的项目室或开电话会,一项一项地抠细节,一项一项去做架构的 review。​

Q:徒步之旅和冲击 TPC 有什么殊途同归之处?

占超群:我以前走过一次徒步,就是去过玄奘之路,让我毕生的印象粗浅的事件就是徒步第三天,起点是个风车镇,从露营的中央你就能看到那个起点,然而你就怎么走都走不过去。登程的时候还很开心感觉一下子就能看到起点应该很快就能实现,然而走到中午发现,他们说你才走了一半不到,所以那天很多人都放弃了,就走到一半就放弃了;我走到一半的时候,我也感觉特地好受。

我在中途劳动了很久,心里也很想放弃。因为我这么多年的一个性情,就是再难,只有定了,我是爬过来也好,还是走过来也好,然而肯定要去到起点。所以中途劳动了特地长时间,起初还是爬起来接着走,印象中走到天黑才走到起点。

咱们走向国际化就这种感觉,你晓得对手是谁,他做成咋样了,然而你就是不晓得该怎么走过来。就是你跑一段发现,这段对手曾经五年前走过了。再跑一段,发现对手七年前走过了,就这种感觉,是其实很让人又兴奋又失望的那种。

最终是在 2019 年的 4 月份,咱们就正式实现了,并且成果还十分好,拿到了性能和性价比寰球第一。

Q:每一次的产业革命都随同着基础设施的更迭,而在数据库畛域,也正产生着这样一场从旧到新、从传统到云端的技术巨变。您是怎么对待这样的转变?

占超群:云计算其实在重构整个数据库的体系结构。以前数据库的构造是什么样子呢?磁盘、CPU、内存都是单机的,要么 Scale up 扩大单机资源如内存等,要么 Scale out 扩大物理机数量。但明天云计算基础设施变动会呈现什么呢?存储是能够共享和按需付费的,计算也能够依照实时的申请弹性扩大。它把整个体系结构都变了,云原生加分布式技术对于数据库来说是微小的时机,这个货色其实是咱们在以后,最有机会能超过国外厂商的一个新赛道。

Q:您​ 总共招聘过多少人?

占超群:我看零碎应该超过 1500 人。无论是侠客行、百年阿里,上了很多场课。

Q:您选人的规范是什么?

占超群:实际上就是很多人分不清什么叫常识,什么叫教训,什么叫能力,什么叫后劲。比方我看了一本书或一篇 Paper,这只能叫一个常识;而后我做了某件事情,用到这些常识,这叫教训。能力是什么呢?就是说,我做了这件事件总结进去的技术和教训,我在 B、C、D、E 我的项目中复制了,这个就叫能力。基于这些能力,而后在面临一个未知的时候,我也能做得很好,这叫后劲。这是咱们要去深刻开掘进去的货色,因为咱们面临很多未知挑战,须要更多人一起去解决。

Q:您有什么特地的解压形式吗?

占超群:待的工夫越长,缓缓会造成一个思维惯性和执行惯性,也会失去刚入职的那种锐气和勇气,这是我最怕的一件事件。以前在西溪园区的时候,那个时候比方我在面临一些压力或者有很大挑战和抉择的时候,我都会看一下九号馆的雕像,更多时候想想我是不是背了太多包袱了。

其实我跟大家一样,也是从一个基层的同学成长起来的,过程中肯定会碰到很多的冤屈,包含老板不肯定了解,包含被业务方否定和批评,包含各种内外部的技术 PK,这个过程中也是经验了很多心田的纠结徘徊。

很多时候我也想过放弃。但这个过程中,比方咱们的技术用到城市大脑让这个城市更平安,让城市的治理效率更高;技术用到邮政等让整个邮政的物流效率更低等。其实背地都是有十分大的技术冲破和翻新,这些技术在一步步地扭转民生,在反对企业数字化,承载很多客户对咱们的信赖与托付,让很多美妙的事件产生。这些是能让我在很多时候,在冤屈和徘徊的时候坚持下去最大的能源。

版权申明: 本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0