文 / 明道云创始人任向晖
围绕云计算相干的技术畛域、技术名词和技术产品令人目迷五色。在云计算发端之初，利用开发环境还比较简单，过后还有所谓的全栈工程师存在，意味着如果不思考开发周期，一个人就能搞定整个应用软件。明天，这个称呼曾经名不符实。很少再有一个人，甚至一个企业可能全面把握和云计算无关的所有技术栈。他们可能会利用旁人实现的一些成绩，联合自有的一些专有教训，来造成在某个细分市场有竞争力的产品，或者为客户交付冀望的产出。
即便作为纯正的利用者，要想全面理解和云计算无关的技术，做到正当架构，失当选型，顺利完成集成开发和部署的全过程，也都比过来难得多，须要的技术人才也比过来低廉。坦白来说，在当下的人才竞争度下，个别行业的企业，即便领有信息部门，也都不太可能独立驾驭这样简单的开发设施，他们将不得不宽泛依赖云计算平台提供的服务。这给软件行业的解决方案商带来了新的市场机会。谁可能为数字化转型企业提供敌对的利用开发和部署环境，谁就可能取得和保有客户。
这篇长文次要面向大中型企业的技术和非技术管理者。我通过描述云计算技术和市场畛域的倒退过程，介绍关键技术和市场里程碑，包含不同技术域下的外围开源我的项目，让企业可能对云计算倒退历史和相干技术域有一个通盘的理解。有了通盘的认知，你会更容易看透本企业应该怎么利用云计算，将来可能的市场机会和挑战在哪里？
本文受到 Tom Siebel 2019 年出版的 Digital Transformation 一书的启发，但我尽量联合了中国市场的理论状况艰深地来讲述。
云计算市场的造成和构造
咱们明天可能享受经济和便捷的云计算服务，次要来自两大能源，一是计算资源的虚拟化技术，二则是规模经济效应。前者发端于 2000 年后 VMWare 推出的 Hypervisor 虚拟化软件，它不再依赖一个母体操作系统，就容许用户将硬件和网络资源划分成多个单元，从而实现计算资源的池化、共享和按需调度。
2006 年，Amazon 推出了 S3 对象存储服务和 SQS 简略队列服务，创始了公共云计算服务的先河。在尔后，微软，IBM，谷歌，中国的阿里，腾讯和华为等都陆续退出了公共云服务的市场，提供的服务也从根底计算资源扩大到数据库、人工智能、物联网等多个技术畛域。目前，这个行业曾经成长为年收入 2500 亿美元的微小市场。
在这十多年的倒退过程中，当然呈现了很多的公司，产品和服务，然而概括起来这些事物的涌现根本沿着两条显著的路线在进行：
趋势一：从基础设施，到利用，再到利用相干的平台服务。
根底云（Infrastructure as a Service)
最早的云计算服务就是最根底的云主机（Virtual Machine)，服务商把裸金属装上 Hypervisor，把计算和网络资源分块后就能够卖了。随后，根底服务被拆分为主机、存储、网络、数据库和平安等几个重要的根底云产品，容许用户灵便组合，并实现了弹性计费（目前国外根底云厂商大多都提供按分钟或按秒的计费精度，存储则能够按月计费，比方 AWS 的 S3 服务每 GB 数据的规范存储月费在 0.0125 美元，而深度归档存储的每 GB 月费能够低至每 GB0.001 美元）。
咱们个别把主机，存储，网络，数据库和平安相干的计算服务统称为根底云服务。在这些服务之上，开发者须要实现所有的技术栈搭建，构建本人的数据架构，开发编码，部署运维，最终能力实现云端利用。而初代的云计算客户大多数都是互联网公司。他们并非云服务的最终消费者，而是生产者。
利用即服务（Software as a Service）
和 Amazon Web Services 简直同时起步的另外一家公司 Dropbox 是一家面向集体和团队提供文件存储和共享服务的守业公司。赶上了 AWS 起步的时候，Dropbox 就间接应用了 AWS 现成的 S3 对象存储服务，这让一家团队人数很小的初创公司有机会可能聚焦在利用开发和营销上，让 Dropbox 通过短短的几年工夫倒退成市场份额第一的文件共享利用。和 Dropbox 相似的大票 SaaS 企业大多也都是在随后的十年内陆续呈现，他们千篇一律都应用了云计算平台的服务，而不再自建基础设施。这当中也包含一个超级大用户“奈飞“（Netflix），他们的上行流量占到整个互联网上行流量的 15% 之多，也是 AWS 的客户。
咱们开办的明道合作利用诞生在 2011 年，也正好赶上了中国云计算平台开始的年份，所以咱们也防止了很多基础设施的建设工作。狭义来说，最早的云服务在根底云公司之前就呈现了。1999 年开办的 Salesforce，就是一个典型的 SaaS 公司，只不过当年没有这样的行业术语。2016 年，据说 Salesforce 也曾经成为了 AWS 的客户。因为 SaaS 服务模式的存在，使得云计算可能间接提供服务给大量的中小企业和非互联网行业企业。明天，简直所有的企业都或多或少利用一些 SaaS 服务。
云计算市场倒退的第一波次要由互联网企业用户带动。他们具备比拟残缺的开发和自助运维能力，而且也有日益增长的用量，属于根底云服务最现实的客户群体。直到明天，阿里云和腾讯云的次要客户群体仍然是泛互联网行业。
SaaS 企业是云计算根底服务的重要推动者，尽管这个门类和 2C 的网络服务相比，奉献的经济价值要小得多，然而他们深谙企业市场的需要，推动了云计算平台的利用开发环境日益成熟。这就是趋势的下一步：平台即服务。
（开发）平台即服务（Platform as a Service）
所谓平台即服务，特指开发平台。利用开发工作从本地迁徙到云端，天然须要在云计算环境中提供对应的更优解决方案。所以过来传统的中间件市场陆续产生变迁，逐个转换为在云计算平台上的某项服务。比拟常见的开发平台服务包含：
通信：提供音视频通信、音讯推送、短信、邮件等服务
地理信息：提供地图、定位、导航相干的服务
利用开发框架：提供利用开发环境和运行时环境
媒体服务：提供图片和音视频等媒体文件的编码、加工和存储服务
机器学习框架：提供面向 AI 利用开发者的机器学习数据标注和模型训练平台
小到发送一条验证码短信也是一项 PaaS 服务。
作为 PaaS 服务，次要是为开发者服务的，所以除了功能性服务以外，PaaS 厂商也要提供开发敌对性相干的周边能力，比方弹性扩大的能力，调试和管制权限的能力等。参加的开发者越多，一项 PaaS 服务就可能有更多的改良机会和摊低的均匀老本。
PaaS 服务是不是肯定由独立的 PaaS 厂商来提供呢？不肯定。实际上，支流的 PaaS 服务大多被 IaaS 公司所笼罩了。如果你关上阿里云的产品列表，在数百个产品中，你会发现根底云服务只是其中一个门类，其余十几个门类都是和开发环境无关的服务。这意味着，一家守业公司想要独立成为一家胜利的 PaaS 厂商，须要相当聚焦地执行，而且产品有显著的技术当先度。一旦做到这一点，也不必放心和根底云公司的竞争，因为我前面会讲到云计算市场的技术倒退，其中曾经有泛滥的技术趋势保障了独立性 PaaS 公司建设跨云服务的独特劣势。
以上说的是云计算服务过来十五年倒退中的一条脉络，从根底云到利用的共生，再到日益丰盛的开发平台即服务。云计算笼罩的用户越来越多，依赖的是这三个档次的服务互为补充。
趋势二：从公共云、公有云到混合云，再到多云
第二条脉络无关云计算服务的部署模式（Deployment Model）。当云计算概念被提出时，它显然指的就是公共云服务，客户不须要保有任何基础设施，间接像水电煤一样应用云计算资源就能够。然而商业的事实和技术企业的现实之间总是存在沟壑。云计算到底是技术还是服务，在很长一段时间内是不足共识的。
在云计算服务开启之前，很多大型企业和组织都有本人的服务器。2010 年，寰球服务器市场就有 500 亿美元的规模，这些服务器大多数都卖给了企业和政府。企业领有了这些基础设施，难道再花钱买公共云服务吗？既然云计算技术这么好，为什么我本人来实现呢？政府、金融、医药等行业客户更加不可能在公共云计算服务诞生的初期就义无反顾地驳回，他们有各种各样所谓的合规要求。
公有云（Private Cloud）
果不其然，有需要就有供应。2010 年 Rackspace 和 NASA 公开了一个叫做 OpenStack 的开源项目组。它蕴含了一系列用于构筑云计算服务的开源软件。这意味着，所有领有硬件基础设施的用户都能够用很低的老本来实现和 AWS 相似的技术架构。Rackspace 是一家 IDC 公司，它这么做的能源显然是很强的。它认为只有帮忙客户解决虚拟化问题，本人的主机托管生意一样能够兴旺发达。
尽管软件是开源收费的，然而要施行 Open Stack 仍然须要云计算相干的专业知识。因而，从 2010 年开始，呈现了很多基于 OpenStack 帮忙企业建设公有云的服务商。在国内，公共云服务商甚至都提供过这类服务。十年过来了，这股由 OpenStack 带起的公有云风潮根本告一段落。除了极少数大型用户在经济上可能接受本人保护独立的云计算平台，绝大多数用户根本无法失去经济上正当的回报。虚拟化只是云计算服务的一个技术前提，但并非所有的价值。公有云计划永远无奈利用到资源弹性利用（可大可小）和真正的规模经济效应，除非用户基本不关切经济感性。
在中国市场，重点行业可能至今仍然无奈应用商业云服务，然而电信运营商和一些国家级的科技企业也在公共云服务商的帮忙下建设了各种行业云。比方挪动云，联通云和电信天翼云都是这样造成的，他们为金融、政府、交通、教育等重点行业提供公共云服务。
故事到这里，仿佛公共云曾经大获全胜。然而，商业事实又回来了。在越来越同质化的云计算服务市场，客户难道齐全没有议价能力吗？客户的需要如果不能失去满足，总有供应商会违心翻新。于是混合云（Hybrid Cloud）出场了。
混合云（Hybrid Cloud）
其实混合云并不是什么独特的云计算技术，它本质上是一组通信服务。只有堆上足够好的网络设备和侈靡的专线连贯，世界上任何地点的计算设施都能够组成高速专网。即使客户估算无限，只有对安全性和连通性的要求没有那么高，也能够自助搭建经济的 VPN 网络。围绕通过商业网络连接组建混合云的技术被称之为“SD-WAN”（软件定义广域网）。有了网络连接，就能够把客户自有的计算设施和公共云计算设施连贯在一起，称之为“混合云”。
混合云对客户的益处是显著的。首先，每个企业都可能有云计算根底用量，但也可能有短期的激增需要。有了混合云，客户就能够围绕本人的根底用量洽购自有 IT 资产，本人经营公有云，而短期稳定的增量则能够通过公共云服务满足，等需要顶峰过来，就能够去掉这部分的开销。企业也能够将运维难度比拟低的根底云服务保留在本人的设施内，而同时应用公共云提供的简单计算服务，比方机器学习平台等。Dropbox 是一个大规模的 SaaS 利用，它在 2016 年做了很大的架构调整，大部分的服务不再应用 AWS 的公共云，一举节俭了 7000 万美元的年度云计算开销。
混合云策略当初曾经失去了厂商和客户的双重反对，它终结了公共云和公有云非黑即白的争议，让整个 IT 产业更加求实。这其中也诞生了很多的商业机会。微软，亚马逊，IBM，Google 等当先的云计算厂商都推出了本人的混合云解决方案。因为混合云计划支流化，云计算厂商的竞争开始从根底云资源的老本向利用开发生态环境迁徙。因为在混合云架构下，客户面临如何布局晦涩的数据连贯，如何疾速交付云原生利用的新挑战。所以，云计算的终极竞争不是硬件的竞争，也不是软件的竞争，而是利用开发和部署（AD&D）环境的竞争。
多云（Multi-Cloud）
多云概念是云计算市场最近几年呈现的概念。它把所有的云计算平台，客户的公有云设施全副视作个别基础设施。所有的利用在所有的云上都能统一并牢靠地运行。多云解决方案不仅是基础设施提供者须要协调的，更重要的是利用开发和部署要面向多云运行指标。
2013 年，Y Combinator 孵化企业 Docker Inc 开源了 Docker 我的项目。它成为利用跨云部署的重要前提。Docker 容许用户将简单的利用、数据和依赖的环境，包含操作系统自身打包到一个“容器”中，通过规范的 Docker 引擎，在任何计算环境中都能够统一地运行。有了这项技术，把一个利用零碎从阿里云转移到腾讯云就和传输一个文件一样简略，云和云之间曾经没有边界。为什么 Windows 和 mac OS 的利用永远不兼容，而云计算厂商却眼睁睁地看着这些事件产生呢？很简略，因为整个云计算技术生态都建设在开源软件上，亚马逊再大，它也只是一个服务提供者，收的是租金。而客户方，则越来越看重自主可控性，他们不心愿被繁多的云计算公司锁定，毕竟本人的客户和交易数据都运行在云计算上，它是所有企业的命根子了。
2015 年，Google 开源了 Kubernates 我的项目，让多云解决方案更胜一筹。K8S 可能对容器的创立、扩大等进行主动编排。这意味着无论利用有如许简单，它都可能在多云环境中进行对立运维。比方自家的某种类型存储用完了，就能够长期购买一些亚马逊的存储。数据过期了，就定期主动地转移到低价格的冷存服务中。
有了多云技术框架和服务，同时意味着云计算平台必须提供广泛支持。阿里云当然心愿多卖一些云主机服务，然而如果因为技术框架落后，客户就会散失。所以，全世界的云计算平台目前都义无反顾地反对了多云策略，心愿在这个过程中持续以业余服务商的位置存在。
多云策略对利用开发者的影响也很大。首先开发者必须从第一天就依照云计算环境来布局，反对多云部署，主动伸缩，采纳微服务架构以实现容器部署。其次，利用开发者也可能从这样的架构中受害。因为它使得客户取得公有软件也像利用 SaaS 一样简略，唯独不同的是利用和数据运行在客户管制的计算环境中，然而软件自身都是基于繁多代码库的（Single Code Base）。咱们明道云原来是一个 SaaS 状态利用，客户只须要在 http://mingdao.com 上注册即可应用，当初，通过容器技术，咱们的客户也能够在本人的云计算环境中装置和降级。这些都有赖于多云技术架构。
后面咱们提到了云计算公司的竞争将向利用开发和部署环境迁徙。那么它具体指的是什么呢？它有对于围绕云计算相干的四个技术畛域。Tom Siebel 把他们概括为云计算自身、大数据、人工智能和物联网。
接下来，咱们会逐个介绍这十五年来，随同云计算倒退起来的数字化技术畛域。正是因为云计算服务的遍及，才催化了这些新兴的技术畛域，反过来，这些技术畛域的倒退也让古代云服务更加欠缺，当然也更加简单。正是这些复杂性，让企业数字化转型工作变得阻力重重。相较于更早前的根底信息化工作，企业届要认知和把握的技术领域要比广阔得多。因而，咱们介绍云计算的倒退简史，就必须要把关联技术域的倒退也一并介绍。
云计算相干的技术畛域
大数据（Big Data）
在大数据概念呈现之前，数据存储、解决和剖析的技术早已存在。随着存储老本的降落和云计算提供的弹性计算能力加强，越来越多的数据场景曾经不能被传统的数据库技术所解决。这些新场景能够被概括为高数据量（Volume），高频度（Velocity）和多数据类型（Variety）三个特点。比方在电子商务、金融和物联网畛域，零碎往往在很短的工夫内会产生大量的数据。这些数据甚至在存储的过程中就会产生瓶颈，更不用说实时性很强的计算和剖析。所以，从搜索引擎时代开始，大数据相干的技术就开始孕育。
MapReduce 和 Hadoop
搜索引擎的霸主 Google 成立于 1998 年，几年当前，Google 的搜寻服务所承载的数据量曾经是一个天文数字，而且还在以光速减少。传统的数据处理技术齐全依赖硬件算力的铺陈，这会让 Google 在将来的倒退中不堪重负。2004 年，Google 在外部推出了 GFS 分布式文件系统和分布式计算框架 MapReduce。前者解决了繁多硬件资源的限度，后者通过一系列数学原理，将多类型的数据进行切片并扩散存储在特定的分区中，这个设计可能让将来的计算和剖析大幅提效。MapReduce 的技术原理是大数据技术倒退的最重要根底。
很快，开源软件畛域开始响应这项技术计划，Lucene 我的项目创始人 Doug Cutting 在 2006 年正式独立出 Hadoop 开源我的项目，在其中包含了分布式文件系统，在集群资源上的调度工具，以及最外围的大数据并行处理开发框架。有了 Hadoop 当前，那些面对海量数据分析难题行业从此有了更好的解决方案。只是在 2006 年前后，次要的利用行业还是互联网行业自身。Yahoo，
中国的百度等都很快利用了 Hadoop 来解决海量数据的存储和检索问题。
Hive，Spark 和流式计算
在随后的几年中，Hadoop 相干的大数据处理技术持续失去加强。Facebook 开源的 Hive 剖析工具用更高层和形象的语言来形容算法和数据处理流程，可能用 SQL 语句进行大数据分析，这大大降低了使用者门槛，也晋升了大数据技术的利用效率。不要小看这项改良，它让全世界大多数现有的数据分析人员能够轻易把握大数据技术。
2009 年，加州大学伯克利分校的 AMP 实验室开发了 Spark 开源集群计算框架，通过欠缺 API 和库，提供更欠缺的能力和通用性。而且 Spark 的特色是可能将数据存储在内存中，所以数据处理和查问效率要比利用硬盘存储的 MapReduce 框架快百倍。目前，Spark 曾经退出 Apache Software Foundation，成为 Apache 开源我的项目中的明星我的项目，被大数据技术畛域作为最重要的工具框架。
至此为止的技术栈根本解决了针对海量数据批量进行解决和剖析的需要。比方零售业企业如果须要钻研顾客和交易数据，从而对顾客群进行特色细分，这些技术就足够了。然而，数字化技术的倒退总是会刺激出更高级的需要。比方，在线上批发中，商品和顾客的行为数据是永续一直在产生的，咱们心愿在数据产生的时刻就立刻进行计算，及时地给顾客推送一张个性化的优惠券，而不是定时进行某种批量计算，这时候就须要大数据技术的一个分支—流式计算。
流式计算的罕用框架包含 Storm 和 Spark Stream 和 Flink，他们在批发和电子商务行业中的交易剖析、金融风控、物联网中的态势监控、车联网中的主动驾驶等畛域都被广泛应用。2019 年，阿里巴巴用 1 亿美元收买了 Flink，是因为咱们用的淘宝天猫中的搜寻、商品举荐，包含双 11 的实时监控大屏数据都是由 Flink 来驱动的。Flink 用简直无提早的速度截获双十一最初一秒钟完结后的 GMV 数值，可见它在实时处理数据方面的性能。
NoSQL 数据库
与大数据技术同步倒退的还包含 NoSQL（非关系型）数据库市场。在上个世纪，大多数商业数据库都是关系数据库，通过 SQL 语言进行数据处理和查问。当大数据技术倒退起来后，技术专家们发现数据库齐全能够用不同的状态来存储数据，这样能够大幅缩小数据分析过程中的预处理工作量。所以，从 2009 前后开始，各种 NoSQL 数据库开始进入市场。
下图是维基百科上针对 NoSQL 数据库类型的分类办法：
读者能够疏忽其中的细节技术语言，只须要理解不同类型的 NoSQL 数据库会有利于特定场景的利用开发。比方文档数据库采纳 JSON 格局存储，能够得心应手定义不同的数据结构，而且横向扩展性很强（数据规模增大后能够保障查问效率）。咱们明道云的工作表就是利用了文档数据库 MongoDB 作为存储计划。
NoSQL 数据库广泛反对分布式文件系统，所以都具备很强横向扩展性。和关系数据库相比，NoSQL 数据库大多不具备事务一致性，然而这个就义替换失去数据处理的效率，因此作为大数据技术相干的常见存储计划。
云计算平台上的大数据服务
以上咱们介绍了大数据技术倒退依赖的各个重要技术栈。很显然，和传统的利用开发相比，大数据技术绝对更加简单。它不仅波及简单的编程框架，还须要一个业余的运维体系。这使得大部分一般企业用户很难本人来搭建大数据开发环境。所以云计算平台在根底云服务之外，也开始联合云计算资源提供大数据服务。阿里云上的 MaxCompute 是一个全托管的大数据 SaaS 服务，用户甚至无需治理主机基础设施，间接依照大数据计算任务量付费。顺便说一下，这种间接将计算服务提供给开发者的模式被称为“无服务器”（Serverless）计算，它的目标是为了简化开发工作中的运维工作，让开发者聚焦在利用开发上。不仅仅是大数据畛域，在 AI，物联网等其余技术畛域，无服务器服务模式正在日益成为支流。E-MapReduce 则是一整套大数据相干的 PaaS 服务，用户能够抉择利用现成的服务在本人管制的云主机上实现部署，客户次要领取的是根底云的资源费用。和阿里云相似，亚马逊 AWS 等其余云计算平台也提供丰盛的大数据相干平台服务。
应用领域
咱们后面提到大数据技术起源于搜索引擎利用。在随后的十多年中，它的次要利用场景仍然还是在互联网畛域。最常见的利用包含计算广告（根据用户和内容数据动静决定广告投放策略和定价），内容检索和举荐（百度、头条），商品举荐和营销流动优化（淘宝、拼多多）。不要小看这几个场景，它们简直和互联网用户上网过程中的每一分秒都有关系，所以发明了微小的经济价值。
数据的价值当然不仅仅局限于互联网行业，简直每个产业都有机会在大数据技术的帮忙下发掘出数据的价值，或者改善经营效率，或者发现出新的业务机会。金融行业是较早的受益者。银行贷款业务中的危险管制、批发和结算业务中的欺诈发现、保险业务中的精算和保单个性化定价、证券行业中的期货定价和股价预测等都实实在在在发明出财产。
大数据在钻研和开发畛域也在大显神通。在生物医药畛域，大数据技术在帮忙缩短药物研发的周期和进步成功率；合成化学行业也在利用大数据和机器学习技术来放慢发现新资料。有人甚至认为数据迷信将成为试验、推演和仿真以外的一种新的科学研究办法，成为“第四范式”。
大数据在城市交通、社会治理、能源传输、网络安全、航空航天等畛域也都曾经有了事实的利用。但在这些资本投入密集的畛域之外，大数据在个别行业和企业中的利用仍然路线波折。这不是因为大数据技术不够欠缺，而是诸多行业尚未可能明确形象出大数据利用的价值以及可付诸实施的方法论。正如后面提到的，云计算和大数据对于一般中小企业来说仍然是一个含糊的技术工具，个别企业也很难雇佣大数据专家，而业余服务企业目前还没有找到利用本人的技术特长提供广泛服务的无效机会。通用畛域中的大数据利用还停留在理念阶段。所以，在过来几年呈现的大数据技术公司大多都还在服务金融、公安、交通、能源等大客户集中的行业。
冲破的关键点可能在两个方面，一是大数据技术栈自身十分复杂，当下的工具还依赖专门训练的计算机专家，产业还没有形象出一个通用畛域的利用模型，也无奈提供一个相似 SaaS 这样敌对的利用界面。这值得数据技术畛域和企业应用领域中的跨界专家来摸索。二是企业数字化建设还刚刚开始，很多企业缺失稳固和牢靠的数据采集和记录的过程。如果没有数据流，天然就不会有大数据利用。因而大数据技术被广泛应用可能还须要五到十年的工夫。
人工智能（Artificial Intelligence）
人工智能的概念和基本原理起源早至 1950 年代。晚期的人工智能钻研集中在加州大学伯克利分校，麻省理工，斯坦福和南加州大学等计算机实验室中。明天曾经商业化的神经网络算法就来自于半个世纪多前麻省理工大学的明斯基传授发表的《感知元》论文，然而计算机算力在过后切实是太弱了，以至于任何计算实践上的假如都很难付诸于事实。因而，在长达五十年的工夫内，人工智能技术都停留在实践钻研和一部分不胜利的实际上。
尽管人工智能畛域经验了漫长的冬天，但它所提出的机器向人类学习，并最终在特定畛域可能做得比人类更好的假如却是千真万确的。
千禧年后的 AI 复苏
2000 年当前，有几大动因推动了人工智能概念的振兴。首先，因为摩尔定律的存在，计算机的运算速度和单位存储老本均用指数速率倒退到一个新的阶段。云计算和大数据技术也容许计算机用很快的速度解决 TB 甚至 PB 级的数据。其次，网络服务的衰亡在诸多畛域生产出丰盛的数据，Google，Netflix 和 Amazon 的业务就像数据机器一样，每分每秒都能产生海量的用户行为数据。
第三，在人工智能的数学方法钻研中，AT&T 贝尔实验室的三位科学家（Tin Kam Ho, Corinna Cortes, 和 Vladimir Vapnik）在机器学习畛域获得了突出的停顿。机器学习技术能够将简单和不确定的非线性问题通过线性的数学公式来解决。在解决不同的问题的过程中，机器学习实践办法和实际被明确验证。最早的一批互联网企业，包含 Google，Facebook，Linkedin 等在这个过程中既提供了海量数据，也从钻研过程中取得了微小的成绩。尤其是 Google，它是机器学习及其分支深度学习畛域最重要的信奉者和推动者。2010 年，Google 成立了 Google 大脑，一个专一人工智能钻研的外部组织，起初又收买了英国企业 DeepMind。后者在 2016 年 3 月击败了人类围棋冠军李世石。
下图是 Tom Siebel 在 Digitlal Transofrmation 一书中对 AI 技术进化史的一张插图，显示了从 1950 年代开始到当初的次要技术迭代历史。
机器学习（Machine Learning）
机器学习是推动 AI 复苏的最重要能源。它的衰亡标记着人工智能很长时间弯路的终结。要想让机器比人做得更好，并不是依附人来教机器规定，而是让机器从历史数据中学习。比方最常见的机器学习场景——物体辨认，要想让机器从各种照片中找出“猫”，只有让机器学习各种各样猫的照片对象。机器学习算法会将训练用的猫图像背地的向量特色总结为一个预测模型，让这个模型预测任何一张新图片中蕴含猫的概率。同样的情理，语音辨认、语言翻译、人脸识别等都是应用的相似的原理。喂养算法的数据量越大，通常预测的准确率就越高。
机器学习利用能够分为有监督学习和无监督学习。前者须要人工参加训练数据的标识，后者则通过数学方法主动聚类出存在相似性的对象。在短少训练数据的状况，无监督机器学习就会起到更大的作用。
机器学习的一个分支被称为 深度神经网络（DNN），它的设计曾经高度参照了人类大脑神经元的连接结构。在深度神经网络中，数据被输送到输出层，后果则从输入层产生，在输出层到输入层之间存在多个暗藏层，每一层会对输出数据的各个特色进行推断，最终可能失去更为精确的预测后果。战胜李世石的 AlphaGo 就是一个基于深度神经网络的算法。然而，DNN 对于用户来说仍然是一个黑盒子。设计者并不需要也不会晓得神经网络中的每一层到底在判断什么具体特色，以及它是如何合成特色的。它背地都是高度形象的数学方法。不论它有如许玄妙，深度神经网络确实厉害，它不仅具备高超的自学习能力，而且还简化了传统机器学习中大量简单和耗时的个性工程（Feature Engineering，通过行业专有常识来调优机器学习算法的过程）。
TensorFlow
2015 年，Google 开源了外部的 TensorFlow 框架，开始将人工智能计算框架作为一项云计算服务向外界提供。在外围开源库之后，TensorFlow 还陆续推出了 Javascript 版本，满足在浏览器和 Node.js 上开发和训练机器学习模型，以及在挪动设施和 IoT 设施上部署的 Lite 版本。另外，TensorFlow Extended 是一个端到端的机器学习生产平台，它连带提供了编程环境和数据处理工具。
当然，TensorFlow 并不是惟一的机器学习框架，Caffe，Torch，Keras 等都是。它们无一例外都是开源的。在云计算的前沿畛域，软件开源是一个广泛的策略。为什么如此简单和高级的软件都会义无反顾地抉择开源呢？一方面因为框架性产品自身并不间接蕴含商业价值，价值须要开发者进行二次发明，另一方面，在云计算服务的商业模式大前提下，通过 API 来提供封装好的人工智能服务是一个非常容易实现的商业伎俩。这些开源产品的运营者没有必要对框架进行免费。
人工智能服务
事实上，即使你不应用这些机器学习框架，也能间接应用人工智能服务。国内外云计算平台都曾经在通过 API 提供各色各样的人工智能服务。这些服务曾经齐全封装成利用开发接口，开发者齐全不须要理解和解决简单的机器学习过程，只有把本人当作用户就能够了。
然而这些服务都十分具体和专向，并不存在任何通用的 AI 接口，每个接口只能为用户解决一类具体问题。以下是阿里云 AI 类目下的服务散布。你能够看出这些服务都和用户的某一个具体需要无关。比方语音辨认能够让挪动开发者开发出让用户间接通过语音来管制性能的利用。人脸识别能够辨认出影像中的人脸对象和实现身份比照验证。
提供一次此类服务要收多少钱呢？在云计算平台上，这类 AI 利用开发接口大多依照次数或者每秒次数级别（QPS）进行免费。比方辨认一张身份证上的信息大概要收取 1 - 5 分钱，听起来不少吧？
实际上，从事人工智能技术的企业并不仅仅是云计算平台提供商。比方中国市场中，Face++，科大讯飞、商汤科技、寒武纪、优必选等都别离在计算机视觉、语音、机器人等畛域有特长。然而它们的专向定位让这些企业很难提供广泛的开发者服务。因为开发者往往心愿在一个云计算平台上取得一揽子服务，而且用户的根底云资源也是从云计算平台购买的。作为开发者来说，领有一个对立和欠缺的利用开发环境是十分重要的。
所以，在人工智能的商业化中，还有不少企业利用本人的专向技术劣势来解决更加细分的问题。比方科大讯飞次要通过本人在语音和自然语言解决方面的技术积攒为教育和司法等行业提供解决方案，中国法院的庭审文字记录当初很多都是通过自动化的语音转录而实现的。商汤科技和旷视科技则次要在智慧城市和安防畛域提供软硬件一体化计划。还有一组守业企业专一于解决高价值的主动驾驶问题，并从中派生出更细分的 AI 芯片设计和制作企业。
技术栈和人才
AI 相干的技术栈是后面介绍的大数据技术的一个扩大。也就是说，没有离得开数据获取和解决的人工智能我的项目。要把如此泛滥的开发框架和微服务组合在一起，对于非云计算业余企业来说是十分艰难的。除了技术栈的复杂性以外，开发者还须要搞定大规模训练数据的获取和处理过程，这个老本在短时间内肯定会成为牵制企业投入的因素。
老本还是绝对容易克服的问题，因为只有问题足够值钱，有长期主义价值观的企业总是违心投入。然而更致命的问题在于 AI 相干人才的强烈竞争。可能从事 AI 利用开发的团队须要蕴含大数据相干的数据库专家，深谙数学建模的算法专家，以及熟练掌握 C ++ 或 Python 等编程语言的高级程序员，同时还离不开有技术素养的业务专家参加。而在当下阶段，云计算巨头企业和业余企业像吸铁石一样吸引走了绝大多数特长人才，让一般企业基本无从获取。
思考到 AI 技术的复杂性和业余度，它极可能像云计算服务一样，大多数企业都只会成为用户级别的角色，这就给业余开发者留下了翻新的空间，看谁可能进行足够正当的形象，组合出更加易用，面向通用业务场景的 AI 服务。
物联网（Internet of Things）
生产产品引爆的物联网遍及
云计算服务的遍及不仅为用户提供了弹性伸缩的经济性，还提供了一个泛在的可连接性。任何计算设施只有连上互联网，就彼此通过 TCP/IP 协定可能互相拜访。这个互联价值在物联网技术倒退之前还仅仅限于传统计算设施，也就是服务器和集体计算终端。在集体、家庭和企业世界，还有大量非传统计算设施并没有联入这个数字化世界。
汽车、家电、集体穿戴设施、工厂的制作设施当初都曾经有接入互联网的条件，市场上流通的这些互联智能产品也越来越多。当连贯的设施丰盛到肯定水平的时候，各种智能化场景能力真正实现。IHS Markit 预测到 2025 年，寰球联网设施总数量将达到 750 亿个。万物互联，正是物联网技术所谋求的愿景。
具备数字化连贯能力的非常规计算设施在上个世纪 90 年代就曾经呈现，比方能够无线连接的摄像头。真正具备中长距离连贯能力的设施首先呈现在批发和工业制作畛域，包含西门子，通用电气等企业开发的工业设施互联协定（M2M）。在过后，这些设施曾经能够通过低速的无线局域网应用 IP 协定连贯到工厂的控制中心。这样的网络被成为工业以太网。但过后商业互联网并没有开始倒退起来，所以 M2M 的呈现只能算作是物联网技术的部分倒退。
物联网开始成型还是通过生产产品市场来推动的。2000 年代初期，LG 率先推出了能够接入互联网的家电产品，一台联网冰箱售价高达 20000 美元，这显然无奈真正带动市场。在随后几年中，像 Garmin GPS 和 Fitbit 智能手环这样的生产电子产品开始取得更大的产销量，从而带动相干的低功耗芯片行业倒退。到了 2011-12 年，生产电子畛域呈现了更多的明星级产品，这其中包含起初被 Google 收买的家用传感器 Nest，Philip 推出的 Hue 智能灯泡等。在中国市场，以小米为代表的智能手机厂商开始扩大到物联网产品畛域，推出了一系列围绕集体和家庭的智能设施和家庭网关产品。苹果也于 2015 年正式进入可穿戴产品市场，推出了 Apple Watch，起初还推出了智能音箱 HomePod。Google 和国内的互联网巨头企业也都退出了这场通过新型集体数字设施抢夺用户和数据的竞争。目前，寰球可穿戴产品市场曾经多年放弃了 40% 以上的年度增长率。
集体和家庭智能设施的量产促成了和物联网相干的协定倒退和元器件老本的升高。在这期间，蓝牙 5.0，WiFi-6，IPv6，NFC 和 RFID 等要害传输和通信协议失去进一步倒退，让设施能耗和连贯速率都进一步晋升。在同一时间，云计算根底服务和大数据处理技术也起到了关键作用。物联网设施往往在短时间内会产生大量数据，如果没有前文提到的大数据技术栈，传统的数据库工具是无奈承载的，同时云计算也是设施数据汇聚的陆地，明天简直所有的物联网技术平台都架构在云计算平台上，他们是典型的互生行业。
物联网的技术栈
物联网相干的技术栈十分综合。它横跨软硬件，既蕴含感知探测相干的硬件技术，也蕴含网络传输和利用构筑的软件技术。直至明天，物联网相干的技术栈都没有齐全稳定下来，甚至很可能长期保持多元的特色。然而概括起来，整个技术栈还是有一些档次特色。
行业个别把物联网相干的技术架构合成为四层，别离定义为和物理环境相干的设施感测层、和数据传输和通信无关的网络层，IoT 相干的平台管理层，以及最终实现用户价值的业务应用层。无论是针对消费市场还是企业市场的物联网零碎都会有这四个档次。
设施感测层 是由各种类型的传感器和可交互拜访的硬件模块及其嵌入式软件而组成的。例如温度湿度传感器、摄像头、电源开关和插座和网关等。感测层设施不仅是单向获取数据，还可能从外界承受指令扭转硬件状态（比方智能锁）。行业内个别把这个档次称为“边缘”（Edge）。
设施感测层的技术栈次要由软硬件协同开发的嵌入式零碎形成。咱们用的智能手机实质上也是一个嵌入式零碎，只是它的嵌入度十分残缺，甚至不亚于一台规范计算设施。嵌入式零碎开发经验了晚期的单片机和嵌入式操作系统 /CPU 阶段，目前最前沿的是 SoC（片上零碎），把一个专用零碎的所有嵌入式软件齐全整合在一个集成电路上。明天的智能手机、智能电视等都是由若干个 SoC 整合而成的。在嵌入式零碎中，固化在硬件上的软件程序甚至仍然能够失去更新，而且这种更新目前大多都能够通过连贯互联网实现，这种降级被称之为 OTA（Over-the-air）更新。
另外，设施感测层还须要解决设施的拜访协定问题。物联网零碎目前曾经广泛支持 IPv6 协定。IPv6 可能提供寰球的 IP 地址总量高达 2 的 128 次方，这是一个天文数字，能够确保任何物联网设施都可能领有独立的 IP 地址，从而实现在寰球的惟一寻址。当寰球物联网设施达到千亿，甚至万亿数量级的时候，IPv6 功不可没。
网络传输层 要解决的是感测设施和计算设施之间，以及最终与平台管理层之间的数据传输问题。依据连贯性质不同，又能够分为短距、中距和长距类型，以及有线和无线类型。在这些连贯协定中，蓝牙、NFC、Wi-Fi、无线射频（RFID）、4G 和 5G 等是比拟罕用的。这些传输协定在设施侧个别都是间接设计在板上零碎上的，通过 IP 协定提供可拜访地址。开发者须要依据连贯的间隔、速率、功耗和老本等要求做出正当的抉择。
IoT 平台层 是物联网零碎中至关重要的局部，它的呈现也标记着基于云计算平台的物联网零碎诞生。一个 IoT 平台的核心作用是治理成千上万的物联网设施，包含他们的状态，数据上报接管，建设对它们的管制，对设施进行运维分组，并可能实现从云端往边缘侧的更新推送（OTA）。同时，物联网平台也要借用上文提到的大数据技术栈，对设施上报数据进行解决，并用各种数据库实现存储，这其中比拟重要的数据库类型就是时序数据库。
更残缺的 IoT 平台还包含围绕设施数据建设自动化工作流的能力，数据分析工具以及为更下层的利用开发提供数据开发接口的设计。
目前，支流云计算平台都专门为客户提供了物联网技术平台，联合根底云和大数据相干服务获取增值业务收入。阿里云，AWS，Azure 和 Google Cloud 都有专门的解决方案，国内外也有专门的物联网平台技术公司将本人的解决方案架构在根底云上或者提供跨云服务。
Oracle，Salesforce 和微软 Azure 等企业软件厂商的物联网平台不仅提供了上述根底服务，还联合了本人的企业应用套装劣势，提供一站式的物联网利用开发平台。它们更适宜企业物联网零碎建设。
最上一层的 应用层 是整个物联网技术架构中最不标准化的局部。应用层最终要将连贯的设施和数据用于具体的商业场景。比方共享充电宝就是一个物联网零碎，它的应用层蕴含面向 C 端的租用和领取零碎，面向商户的设施状态报告，收益结算零碎，以及面向经营部门的设施运维管理系统。换到另外一个物联网场景，应用层的形成可能齐全不一样。
边缘计算和 AIoT
物联网技术架构的基本思路是分层分工，感测层次要获得数据和建设对物理硬件的管制，数据通过网络层和计算平台连贯，计算则在云端实现。然而随着物联网利用场景的丰盛，设施规模的扩充，以及芯片技术的倒退，边缘计算概念开始失去认可。所谓边缘计算，就是利用设备端和邻近网关的计算能力解决和存储数据，缩小和云端的数据传输，从而实现更疾速的利用响应。除了速度的晋升，边缘计算还可能大幅缩小云计算和数据传输老本。比方针对一个大型的视频监控网络，如果摄像头将所有的视频流数据都传输到云端，云端算力要求和老本将会十分高。而如果在摄像头设施外部实现必要的视觉计算（比方辨认异样），整个物联网零碎的效率将大大提高。再例如广泛应用的人脸认证和识别系统，如果不能依赖本地的设施计算能力，十亿用户的高频度应用将会让云平台不堪重负。
下面两个例子显示了边缘计算往往和人工智能利用相干，设施侧往往实现的是模式识别类的人工智能算法，因而往往须要专门芯片的助力。Nvidia 公司推出的 Jetson 系列模块就是专门为边缘计算场景而服务的。这些芯片模块被装置在机器人、主动驾驶汽车等边缘设施上，所以这组技术产品也被称为“自主机器”。因为物联网和这些人工智能利用的联合，因而，这套技术计划也常被称为 AIoT。
应用领域
如果把 2012 年前后作为基于云计算的物联网平台技术倒退开始的年份，仅仅八年左右的工夫，物联网应用领域曾经倒退得十分宽泛。只是咱们身在其中，享受它带来的便当，并不一定可能感知它的存在。这个高速倒退过程很大水平上受害于根底云计算服务和大数据技术栈的同步倒退。
在生产应用领域，集体穿戴设施曾经从手表、手环倒退到耳环戒指这样的杂项。在智能家居畛域，咱们可见的家电、门锁、照片、开关、音箱等都曾经是互联网设施。在集体和家庭畛域，物联网技术竞争曾经不再重要，竞争的焦点曾经迁徙到内容生态和用户网络效应。在这些畛域，苹果、谷歌和国内的华为、小米等曾经牢牢占据了领先地位。小米生态链重点指的就是依靠米家体系的一群生产电子产品企业。
在工业、农业、交通运输、能源和社会治理畛域，物联网的利用场景更为宽泛。咱们的街道上曾经密布了各种摄像头，这些摄像头通过专门网络构筑了天眼零碎；咱们头顶上的电力传输网络和用电单位终端也曾经实现了智能电网革新；矿场和工地上也都布满了各种安全监控设施。这些都是最近十年来重大的 IT 投资。预计将来十年这样的建设和更新仍然不会完结。
云计算的将来
本文次要是对云计算过来十五年的一个回顾。技术畛域的倒退速度是如此之快，以至于咱们很难预测将来的十五年会产生什么。在本文的最初，我仅仅对当下曾经出现的云计算市场趋势做一些简略的概括，它们甚至曾经在产生，但咱们不晓得这些技术趋势的倒退具体会颠覆哪些巨头，会催生出哪些明星。
- 存储和计算的老本将进一步降落，但耗费会同步增长。思考到寰球范畴内的计算服务还有大量没有转移到云计算环境中，将来十年根底云服务的算力还会大量减少，服务单价会继续降落。
- 前沿技术将继续交融到云计算平台，包含量子计算、AR/VR、区块链等。尤其是那些依赖海量数据计算能力和弹性计算资源的利用，云计算是成就它们更快成长速度的轨道。
- 云计算的外围竞争将聚焦在利用开发环境的优越性上。谁可能提供便宜、欠缺和前沿的开发技术栈环境，谁就可能取得更多的开发者用户。当开发者用户抉择了云服务商后，他们其实就为终端用户做出了抉择。
- 多云、或称混合云环境成为长期的企业应用策略，云计算用户将综合应用边缘、各个云计算服务商和自有 IT 设施。
- 云计算开发技术栈会越来越简单，这会让利用开发畛域的分工更加明确。面向终端用户的利用开发将变得更加简洁，利用生成的形式会越来越多元，无需编码，依附一般业务用户建设应用程序的服务商会越来越多。
本文作者是明道云创始人，明道云是一个零代码利用平台厂商，通过可视化形式帮忙企业用户建设中后盾企业应用，具备疾速搭建，灵便调整，数据贯通和简略易学的特点。