可扩展性

Kubernetes 项目被采纳度将持续增长作为“云原生”（Cloud Native）理念落地的核心，Kubernetes 项目已经成为了构建容器化平台体系的默认选择。但是，不同于一个只能生产资源的集群管理工具，Kubernetes 项目最大的价值，乃在于它从一开始就提倡的声明式 API 和以此为基础“控制器”模式。在这个体系的指导下， Kubernetes 项目保证了在自身突飞猛进的的发展过程中 API 层的相对稳定的和一定的向后兼容能力，这是作为一个平台级项目被用户广泛接受和认可的重要前提。更重要的是，Kubernetes 项目为使用者提供了宝贵的 API 可扩展能力和良好的 API 编程范式，催生出了一个完全基于Kubernetes API 构建出来的上层应用服务生态。可以说，正是这个生态的逐步完善与日趋成熟，才确立了 Kubernetes 项目如今在云平台领域牢不可破的领导地位，也间接宣告了其它竞品方案的边缘化。与此同时，上述事实标准的确立，也使得“正确和合理的使用了 Kubernetes 的能力”，在某种意义上成为了评判上层应用服务框架（比如 PaaS 和 Serverless ）的一个重要依据：这不仅包括了对框架本身复杂性和易用性的考量，也包括了对框架可扩展性和演进趋势的预期与判断。不过，相比于国外公有云上以 Kubernetes 为基础的容器化作业的高占比，国内公有云市场对容器的采纳程度目前仍然处于比较初步的水平，直接贩卖虚拟机及其关联 IaaS 层能力依然是国内绝大多数公有云提供商的主要业务形态。所以，不同于国外市场容器技术增长逐步趋于稳定、Kubernetes 公有云服务已经开始支撑头部互联网客户的情况，Kubernetes 以及容器技术在国内云计算市场里的依然具有巨大的增长空间和强劲的发展势头。不难预测，Kubernetes 项目在国内公有云上的逐渐铺开，会逐渐成为接下来几年国内公有云市场上的一个重要趋势。而无论是国内外，大量 Kubernetes 项目相关岗位的涌现，正是验证这个趋势与变化的一个最直接的征兆。2. “Serverless 化”与“多样性”将成为上层应用服务生态的两大关键词当云上的平台层被 Kubernetes 项目逐步统一之后，过去长期纠结在应用编排、调度与资源管理上裹足不前的 PaaS 项目得到了生产力的全面释放，进而在云平台层之上催生出了一个日趋多样化的应用服务生态。事实上，这个生态的本质与2014年之前的 PaaS 生态没有太大不同。只不过，当原本 PaaS 项目的平台层功能（编排、调度、资源管理等）被剥离了出来之后，PaaS 终于可以专注于应用服务和发布流程管理这两个最核心的功能上，开始向更轻、更薄、更以应用为中心的方向进行演进。而在这个过程中， Serverless 自然开始成为了主流话题。这里需要指出的是，Serverless 从2014年 AWS 发布 Lambda时专门用来指代函数计算（或者说 FaaS）发展到今天，已经被扩展成了包括大多数 PaaS 功能在内的一个泛指术语，即：Serverless = FaaS + BaaS。而究其本质，“高可扩展性”、“工作流驱动”和“按使用计费”，可以认为是 Serverless 最主要的三个特征。这也是为什么我们会说今天大家所谈论的 Serverless，其实是经典 PaaS 演进到今天的一种“极端”形态。伴随着 Serverless 概念本身的“横向发展”，我们不难预料到，2019年之后云端的应用服务生态，一定会趋于多样化，进而覆盖到更多场景下的应用服务管理需求。并且，无论是Function，传统应用，容器，存储服务，网络服务，都会开始尝试以不同的方式和形态嵌入到“高可扩展性”、“工作流驱动”和“按使用计费”这三个特征当中。当然，这种变化趋势的原因也不言而喻：Serverless 三个特征背后所体现的，**乃是云端应用开发过程向“用户友好”和“低心智负担”方向演进的最直接途径。而这种“简单、经济、可信赖”的朴实诉求，正是云计算诞生的最初期许和永恒的发展方向。**而在这种上层应用服务能力向 Serverless 迁移的演进过程中，不断被优化的 Auto-scaling 能力和细粒度的资源隔离技术，将会成为确保 Serverless 能为用户带来价值的最有力保障。3. 看得见、摸得着、能落地的“云原生”自从 CNCF 社区迅速崛起以来，“云原生”三个字就成了各大云厂商竞相角逐的一个关键词。不过，相比于 Kubernetes 项目和容器技术实实在在的发展和落地过程，云原生（Cloud Native）的概念却长期以来“曲高和寡”，让人很难说出个所以然来。其实，“云原生”的本质，不是简单对 Kubernetes 生态体系的一个指代。“云原生” 刻画出的，是一个使用户能低心智负担的、敏捷的，以可扩展、可复制的方式，最大化利用”云“的能力、发挥”云“的价值的一条最佳路径。而这其中，”不可变基础设施“是“云原生”的实践基础（这也是容器技术的核心价值）；而 Kubernetes、Prometheus、Envoy 等 CNCF 核心项目，则可以认为是这个路径落地的最佳实践。这套理论体系的发展过程，与 CNCF 基金会创立的初衷和云原生生态的发展历程是完全一致的。也正是伴随着这样的发展过程，云原生对于它的使用者的意义，在2019年之后已经变得非常清晰：是否采用云原生技术体系，实际上已经成为了一个关系到是不是要最大化”云“的价值、是不是要在”云“上赢取最广泛用户群体的一个关键取舍。这涉及到的，关系到整个组织的发展、招聘、产品形态等一系列核心问题，而绝非一个单纯的技术决定。明白了这一层道理，在2019年，我们已经不难看到，国内最顶尖的技术公司们，都已经开始在云原生技术框架下发起了实实在在的技术体系升级与落地的“战役”。显然，大家都已经注意到，相比于纠结于“云原生到底是什么”这样意识形态话题，抓紧时间和机遇将 Kubernetes 及其周边核心技术生态在组织中生长起来，并借此机会完成自身基础技术体系的转型与升级，才是这些体量庞大的技术巨人赶上这次云计算浪潮的不二法宝。在这个背景下，所谓“云原生”体系在这些公司的落地，只是这个激动人心的技术革命背后的一个附加值而已。而在”云原生”这个关键词的含义不断清晰的过程中，我们一定要再次强调：”云原生不等于 CNCF，更不等于 Kubernetes“。云原生固然源自于 Kubernetes 技术生态和理念，但也必然是一个超越 CNCF 和 Kubernetes 存在的一个全集。它被创立的目的和始终在坚持探索的方向，是使用户能够最大化利用”云“的能力、发挥”云“的价值，而不是在此过程中构建一个又一个不可复制、不可扩展的“巨型烟囱”。所以说，云原生这个词语的准确定义，是围绕着 Kubernetes 技术生态为核心的，但也一定是一个伴随着 CNCF 社区和 Kubernetes 项目不断演进而日趋完善的一个动态过程。而更为重要的是，在这次以”云“为关键词的技术革命当中，阿里巴巴很可能成为”云原生“的一个重要的定义者。本文作者：jessie筱姜阅读原文本文为云栖社区原创内容，未经允许不得转载。

摘要： 2019技术发展趋势早知道，你值得拥有！年度回顾：2018年的AI/ML惊喜及预测19年的走势（一）Unravel Data首席执行官Kunal Agarwal人工智能和机器学习的日益重视将会推动TensorFlow和H2O实现技术突破成为可能。此外，Spark和Kafka将继续呈现引人注目的受欢迎程度。随着云业务模式快速成熟，企业并购交易将继续加速。巨头将对人工智能领先的创业公司进行大规模收购，以便在AI和ML中提供高度需求的知识产权和人才。谷歌和阿里巴巴在收购萌芽的人工智能技术方面处于领先地位，而其他一些科技巨头将尝试通过自主研发来模仿他们的成功。Grammarly研究总监Joel最近几年，人工智能推动了理解和生成语言的界限（最值得注意的是新闻翻译）。由于以下因素，我预计2019年更多自然语言处理（NLP）里程碑成果将会减少：语言解释依赖于语境，意味着真正理解一个人的写作或语言需要参与者的知识，还有他们先前的交流。大多数NLP模型工作是在没有这些因素的情况下进行的语言解释或生成，但我希望通过结合更多受众认知的知识，使得NLP性能提高并变得更加个性化。关于AI的一个小秘密：许多系统都是在数千人（或更多）人类评估者创建和标记的数据集上进行训练的。随着我们需要解决更复杂的人工智能问题，对大量高质量人工标注数据的需求将会增加，但在利用机器学习技术来收集这些数据时会有更多时间和成本效益的突破。同时，使用最少甚至没有标记数据（也称为无监督技术）的方法将减少我们对大量标记数据的依赖，使深度学习模型能够在新的和不同类型的问题上更加健壮。模型架构和基础架构的进步使丰富的深度学习模型能够在资源较低的环境中工作，例如在移动电话和Web浏览器中。在未来，我们希望看到更复杂的模型，即使没有互联网连接，也能在所有设置中为用户提供反馈。Univa总裁兼首席执行官GaryTyreman混合云和专用云将推动机器学习（ML）项目的大规模增长。根据最近对超过344名技术和IT专业人士的调查显示：在2020年，越来越多的项目将投入生产，ML将在未来两年内实现爆炸式增长。超过80％的受访者表示，他们计划将混合云用于ML项目，这样可以降低成本。Univa客户已经在寻求指导，将他们的HPC和机器学习工作负载迁移到云或混合环境，因为他们希望将他们的ML项目推进生产。AI/ML将进入企业应用程序。我们一直在谈论人工智能是过去两年中最热门的趋势之一。我们开始看到AI和机器学习稳步进入企业应用程序，用于客户支持，欺诈分析和商业智能等任务。我们完全有理由相信这些创新将继续在云中发生，2019年将是企业中人工智能的重要一年。HPC和GPU将在推进机器学习项目中发挥关键作用。GPU在HPC中将发挥很高的价值，其中许多任务，如模拟，财务建模和3D渲染也能在并行环境中运行良好。根据HPC市场的市场研究公司Intersect 360研究表明：50种最受欢迎的HPC应用程序包中有34种提供GPU支持，包括所有前15种HPC应用程序。因此，GPU在HPC中变得至关重要。科学家，企业研究人员，大学和研究机构都知道，加速应用程序对商业和研究来说都是有益的。Sutherland首席分析官Puti Nagarjuna打破障碍; 人工智能与人类恐惧之间的平衡：无论我们是否意识到，我们对人工智能的依赖比以往任何时候都更加活跃，2019年公司将齐心协力进一步了解人工智能的局限性，同时发现AI应对更细微的人类行为的方法。越来越多人接受人工智能作为客户体验的第一线：消费者将更多地接受人工智能聊天机器人作为客户体验的第一线，更多公司将采用它们来创造超个性化和便捷的体验。AI将把以客户为中心的营销推向新的高度：随着各种规模的公司转向人工智能技术，通过人工智能增强趋势分析将达到前所未有的价值水平，帮助企业评估如何优化营销工作，作为数据驱动的一部分CMO将崛起。机器学习追求最大价值：数据呈指数级增长，但访问该数据的能力对于良好的ML算法并不实用。在未来一年，一个主要的挑战将是不断发展的算法，以产生适用于你的数据的最大值具体需要。汇流数据架构师Gwen Shapira：随着越来越多的公司试图将AI从实验室转移到生产中，我们将看到越来越多的工具用于管理开发生命周期。AI具有独特的双阶段开发模型，目前的CI/CD工具链无法解决训练，可重复性和数据管理方面的独特挑战。许多公司意识到他们可以通过更简单的工具获得许多AI / ML优势，例如规则引擎和简单的推荐系统。我希望看到越来越多的人采用这些，既可以作为进入完全自治世界的垫脚石，也可以作为许多行业的良好解决方案。我们将看到许多数据工程工具被重新命名为AI/ML数据管道工具。它们与通常的数据工程工具大致相同，但预算较多。我期望一个真正的以人为本的数据管道来处理训练和生产之间的数据和模型流，特别是处理反馈循环和模型改进。Kinetica的首席技术官兼联合创始人：Nima Negahban数据工程师的崛起使AI成为企业的最前沿。去年是数据科学家的一年，企业重点关注招聘数据科学家创建高级分析和ML模型。2019年将是数据工程师的一年。数据工程师将专注于将数据科学家的工作转化为业务的强化数据驱动软件解决方案。这涉及创建深入的AI开发，测试，DevOps和审计流程，使公司能够在整个企业范围内大规模整合AI和数据管道。人与ML形成共生关系，以推动实时业务决策。2019年人工智能和分析的世界需要融合，以推动更有意义的业务决策。这将需要一种通用方法，将历史批量分析、流分析、位置智能、图形分析和人工智能结合在一个平台中进行复杂分析。最终结果是一种新的模型，用于结合临时分析和机器学习，比以往更快的速度提供更好的洞察力。Oqton首席技术官兼联合创始人：Ben Schrauwen2018年最大的惊喜是在解决大型训练数据集需求方面取得的进展。AlphaZero击败了所有以前的版本，达到了超人的水平。生成对抗网络（GAN）正在成功应用于产生更强大的模型。此外，我们现在看到AI可以在非常具体的任务中变得如此擅长，人类无法再说出差异，例如Google Duplex在语音合成中有效地越过了神奇的山谷，为特定的狭窄领域产生了自然的声音对话。我预计我们会很快看到AlphaZero的方法适用于大型搜索空间的难题，甚至超越人类的专业知识。视觉和3D深度学习的进步将导致越来越多的解决方案，以帮助提高人类在特定任务中的生产力，甚至完全自动化。MemSQL首席执行官：NikitaShamgunov预测＃1：现代工作负载需求将命令从NoSQL转移到NewSQL数据库。由于ML，AI和边缘计算工作负载不断激增数据，传统的NoSQL数据库不再足以满足市场对更高性能和可扩展性的需求，而不会给现有数据库增加新的复杂性。关系数据库已发展成更具可扩展性和快速运行的NewSQL数据库，通过将事务和分析处理功能集成到单个数据库中，这些数据库能够满足这些需要更高数据处理能力的现代工作负载的需求。预测＃2：人工智能和机器学习计划将要求CEO更好地了解它的基础架构。人工智能和ML的竞争正变得比以往任何时候都更加激烈。为了使企业能够成功部署AI和ML以实现最大化价值并降低风险，CEO和其他C级领导者需要了解其数据基础架构的成熟度，包括如何存储和处理数据，以确定哪些技术和人才需要推动转型。预测＃3：AI将使员工能够最大限度地减少劳动密集型任务。人工智能的采用有望推动新的角色和工作机会的引入，以符合公司战略，从而变得更加以数据为导向。人工智能将帮助员工专注于更有意义的职责，例如分析洞察力和应用快速数据驱动的决策制定技能，而不是替换人来执行工作，而是帮助执行通常耗时且劳动密集的任务。本文作者：【方向】阅读原文本文为云栖社区原创内容，未经允许不得转载。