关于云原生:数据中台走向云原生

2020 年 9 月 16 日，云原生数据平台厂商 Snowflake 在纽交所上市，仅两分钟就触发熔断，涨幅一度高达 166%，实现了史上规模最大的软件 IPO。

700 亿美元市值如何复制？谁将是中国的 Snowflake？许多问题抛向大洋彼岸。随同着 Cloud Data Platform（云数据平台）首次被写入招股书，“云原生”（Cloud Native）这个走了快 10 年的技术概念强势回归数智赛道视线，成为国内煊赫一时的概念。在间隔 Snowflake 美国总部 9896 公里之外的杭州，同样是 2020 年 9 月，一家专一于视频创作工具与服务的互联网企业（暂称它为 X 公司）向它的数据中台服务商提出了一个难题：

“咱们服务多个国家和地区的用户。能不能在保障多个国家和地区实现数据生产和合规隔离的同时，实现账号权限、数据审计和安全策略的全局治理？”

01 出海企业的跨云挑战

X 公司推出的 APP 在海内外十分受欢迎。旗下产品矩阵登陆寰球 200 多个国家及地区，产品反对 10 余种语言，下载量超 10 亿。现在，X 公司在寰球的用户订阅数仍在一直增长。

这也意味着，数据在一直增长，在各个地区各种 IaaS 上的老本在一直增长——出于地区和法规的要求，他们必须在多个国家和地区的多种 IaaS 上分别独立部署，以达到数据生产和合规隔离的要求，例如，在印度部署 1 个 workspace 在孟买 AWS 上，在北美部署 1 个 workspace 在微软的 Azure 上，在中国部署 1 个 workspace 在阿里云上……

在分头治理了 8 年后，X 公司抉择直面问题，去找一种解决方案。

这个解决方案须要满足：1. 实现跨云部署。X 公司的业务部署在海内外的不同云平台，须要一套实用于不同云平台的数仓零碎。2. 进步跨云及不同地区的合作与管控效率。研发总部位于国内，正式提供服务的环境则笼罩寰球，这其中波及多个环境和服务的治理。须要在符合国家地区间商业数据与地区管制的要求下，有一套账号体系来对所有地区进行对立管控，进步合作效率。3. 缩小存算开销。随同着业务暴发，数据增长速度极快。而现有的云服务器计算资源与存储资源未作辨别，亟待借助新技术来管制存算老本。奇点云接了这一招。架构重塑，更充沛地享受云的“利好”：重点拆分零碎中的计算与存储，用分布式的近程存储计划来代替本地存储，从而让容器的调度不再受限于存储资源所在的地位，升高存储老本——存储老本降至原来的 1 / 3 以下。

同时，依靠 DataSimba（云原生数据中台产品），实现分级多域部署和跨云跨平台部署：用户、权限及配置对立在主域上批改，从域即可主动同步最新数据；X 公司能够在不同的地区采纳不同的云厂商进行部署，防止商业因素、地区因素、繁多云厂商因素等对其数据能力建设的影响；单个域资源独立，但多个域之间应用对立的权限和账号体系，运维和管理人员就无需在不同平台间切换应用，工作效率大大晋升。

“实质上，X 公司须要一个和它站在一起的服务商。”奇点云高级技术专家地雷说，“AWS、阿里云、微软云、腾讯云、华为云、京东云、Google 云……每一家都有本人云原生技术，以吸引客户搬上本人的云。但技术接口的中立性和跨平台性往往被有意无意疏忽了。”只有云原生数据中台能力满足 X 公司的需要——通过“跨云多域”反对其数据与利用的跨云治理和迁徙，且零碎架构体系设计得更凋谢、更平安、更容易集成，真正成为云上“原住民”。

02 业务驱动数据中台走向云原生

去年 9 月，Snowflake 在业界掀起“暴风雪”，“云原生”成为 buzzword。而云原生数据中台在 X 公司们的实际又恰好证实了，这不只是一场概念出圈的狂欢。

咱们能够在其中窥见“数据中台必将走向云原生”的端倪：1. 数据中台存储海量数据，且作业高吞吐高并发，对存算拆散的各项指标要求显著高于其余畛域的利用；2. 大数据集群规模大过程多，人造须要微服务治理和其余智能运维技术；3. 客户对数据安全、数据确权极其关注，加上 toB 的分级多域数据治理场景非常复杂，产生了对跨平台技术、数据安全技术、合规数据单干技术的强烈需要。对象体系、容器化编排、存算拆散、CI/CD（继续集成继续交付）、跨云多域数据治理、元数据管理等云原生技术属性，慢慢描绘出了 DT 时代企业应答大数据浪潮的答案。

这也正是奇点云对“云原生数据中台”的了解。

阿里巴巴首个数仓建设者、阿里云数加平台（现阿里数据中台 Dataworks）创始人、奇点云创始人兼 CEO 行在介绍，相比惯例的“云原生”定义，“奇点云的云原生”多强调了几个因素：对象体系、跨云多域、自主可控。

他谈到，奇点云是规范的乙方数据智能技术供应商，服务于泛批发、金融、政府、运营商等行业，所以有能源做这两件事：1. 尽可能优化架构，升高数据利用在 IaaS 上的计算、存储老本；2. 实现跨云数据治理，因而客户在云平台的抉择上能够更加从容、更加独立。总而言之，和客户站在一起。同样是 20 多年数据老兵的地雷亦有同感，他说：“云原生这个货色在咱们技术人的概念里，很多因素二十年前就有了，十几年前就曾经成为互联网技术团队的标配。例如，2007 年 Google 已向 Linux 内核社区奉献 cgroup 补丁；2008 年腾讯阿里招收计算机方向校招面试题里就有 CI/CD 的问题；2013 年我在阿里云 ODPS 团队时，ODPS 的调度器和执行器已加上了 cgroup 能力。”

“但为什么当初咱们在提‘云原生数据中台’，咱们强调云原生数据中台的实际，它的背地是业务驱动的技术升级。”

如何站在技术与商业的交叉点上，撑持企业建设数智能力？

云原生是追赶风口 or 业务驱动？云原生又是谁的“云原生”？数据中台将走向怎么的将来？

对于云原生数据中台的更多思考，围绕数据技术的更多探讨，将在往年 5 月 20 日“StartDT Day 数据技术大会”上开展。

本届大会以“应云而生，原力沉睡”为主题，投资人、技术专家和开发者搭档们将在会上解读技术，畅谈趋势；新一代云原生数据中台和数据产品新降级也将在现场重磅公布；以业务价值为导向，用技术拓展商业的边界，企业代表和行业专家们还将带来多个畛域的翻新实际。

面对数据爆炸的世界，咱们心愿找到与之敌对来往的形式。期待与你一起，独特拥抱数智时代。

增加小奇微信：startdt001 报名参会。