【编者按：AI 技术蓬勃发展，已逐步浸透进国民经济的各行各业。但企业在 AI 技术的利用仍面临数据、算法、技术等方面的挑战，需业余 AI 开发与计算工具帮忙企业升高 AI 利用门槛，减速翻新。在此趋势下，AI 开发平台纷纷涌现。白海科技将通过系列文章，梳理典型 AI 开发平台，并对其技术与性能进行比照剖析，为宽广企业与行业搭档揭开 AI 开发平台的神秘面纱】
1. AI 开发平台背景
AI 技术日益浸透进各行各业
近年来，随着大数据、云计算等技术的长足进展，机器学习、计算机视觉、语音辨认、常识图谱等人工智能技术飞速发展，逐步逾越迷信与利用的“鸿沟”，日益浸透进国民经济的各行各业。除互联网等数字化原生企业作为 AI 技术利用的先行者外，批发、制造业等传统企业和政府机构也在踊跃拥抱人工智能这一颠覆性技术，以部分业务为试点进行摸索。
图 1 人工智能技术在我国各行业的利用现状
AI 减速商业化仍需平台工具的助力
尽管人工智能技术后劲微小，对企业的翻新和倒退具备颠覆性意义，但其在具体实际落地中仍面临来自数据、算法和算力层面的重重挑战。
数据方面：数据是算法开发与训练的养料，影响算法训练的成果与品质。数据层面的外围挑战是海量数据的治理与摸索，一方面半结构化和非结构化数据的激增，加剧数据接入、数据标准化和数据价值开掘的挑战；另一方面，理论业务和生产中的数据噪声较多，也极大晋升了数据管理和摸索的难度。此外，数据标注繁冗也是重要的挑战，海量数据标注通常消耗大量的工夫和精力。
算法方面：在算法开发与训练方面，随着算法模型日益宏大和简单，最外围的挑战是训练效率和计算性能。其次，AI 开发、训练技术和工具门槛高，在 AI 业余人员广泛短缺状况下，企业对 AI 技术的摸索与利用阻力较高；此外，算法开发与生产波及多角色协同，目前不足无效的合作工具与平台，沟通不畅极大地影响效率。
算力方面：一方面算力老本居高不下，企业算法开发训练老本极高，传统企业累赘算力老本具备较大压力；另一方面，企业目前普遍存在算力资源利用效率低的问题，需要与算力供应的无效匹配和算力资源的高效调度均亟待优化。
面临以上挑战，企业亟需集数据接入、数据摸索、模型开发、算力资源调度治理等于一身的 AI 开发与生产根底工具，以帮忙其低成本、高效率地利用 AI 技术，减速产品和业务的翻新。AI 开发平台产品亦由此应运而生。
2. AI 开发平台分类与概述
白海科技从产品逻辑和状态的角度对 AI 开发平台进行初步分类，与大家探讨。咱们将 AI 开发平台分为两大类——集成式机器学习平台和 AI 根底软件平台。
图 2 次要 AI 开发平台类型
2.1 集成式机器学习平台 *
集成式机器学习平台以算法开发全流程为导向，集成数据筹备、模型开发、模型训练与部署等环节的相应工具或子产品集，在同一平台环境中满足企业算法开发与生产的全生命周期需要。集成式 AI 开发平台致力于提供一站式“大而全”的服务，且冀望同时满足数据科学家 / 算法工程师的业余需要和不足算法开发根底的数据分析师和业务人员的要求，对企业客户和理论用户来说，通常会存在产品过于厚重简单的挑战。
云厂商是集成式机器学习平台的外围玩家之一，依靠本身云服务技术和资源，帮忙客户在云上疾速搭建机器学习模型。国内 AWS，国内阿里云、百度、华为等均已推出机器学习平台产品。
AWS Sagemaker：亚马逊云科技于 2017 年 11 月推出了 Amazon SageMaker 机器学习平台服务，是寰球集成式机器学习平台的先行者。Sagemaker 产品的广度和深度均处于行业标杆位置，广度方面不断完善 AI 开发各环节的工具，实现 MLOps；深度方面，各环节工具绝对更加精细化，且仍在一直打磨与欠缺其易用性。
Azure ML：微软早在 2015 年即推出 ML Studio（经典版）——繁难的拖拽式无代码开发环境。随着市场和技术的倒退，微软不断完善机器学习平台相干性能，打造 Azure Machine Learning (Azure ML)，为数据科学家和算法工程师提供机器学习全生命周期服务。目前 Azure ML 已成为 MLOps 标杆平台之一。
阿里云 PAI：起初服务于阿里团体外部，2018 年正式商业化，次要提供 PAI-Studio 可视化建模平台、PAI-DSW 云原生交互式建模平台、PAI-DLC 云原生 AI 根底平台、PAI-EAS 云原生弹性推理服务平台四大子产品。PAI 重点聚焦在模型的开发、训练和部署环节。基于阿里云的计算性能优化是其外围劣势，PAI 可为 AI 开发与生产提供大规模训练和推理的算力，反对阿里巴巴容器服务 (ACK) 集群级别的资源隔离。
百度 BML：2020 年，百度智能云正式公布飞桨 AI 开发平台企业版 BML4.0，简称 BML。BML 基于 PaddlePaddle 平台和组件进行封装，次要为企业提供低门槛算法开发解决方案——一站式人工智能建模与推理预测服务。开源平台中积攒的丰盛的算法库和面向业余 AI 开发人员的工具是其外围劣势，同时，百度 BML 反对宽泛对接百度云内外部数据源。
华为云 ModelArts：2018 年，华为推出 ModelArts 1.0。ModelArts 与 Sagemaker 类似，致力于提供欠缺的端到端机器学习服务。ModelArts 与华为软硬件生态 (Asend 芯片、CANN 算子、MoXing、MindSpore 框架等) 深度协同，极大晋升计算性能；同时在反对云 - 端 - 边疾速部署方面，也具备劣势。
（* 本文提及的平台与产品不具备任何排名和评估性质）
2.2 AI 根底软件平台
AI 根底软件平台以用户交互和应用需要为导向，可依据用户在 AI 开发和生产中的理论须要，配置相应功能模块。相比集成式 AI 开发平台，AI 根底软件平台工具对数据科学家和算法工程师而言更加轻量、易上手。
从产品类型来看，AI 根底软件平台更加丰盛多样，各产品有差异化的性能和技术侧重点。典型的产品包含 Databricks 数据与 AI 平台、基于 Kubernetes 的机器学习开源工具集 Kubeflow、以及以 IDE 为外围的 Google Colab 和 JupyterLab 等。值得一提的是开源工具平台 Kubeflow，2017 年 12 月该开源社区成立，历时两年，2020 年 3 月 Kubeflow1.0 版本正式公布。Kubeflow 的根底是 Kubernetes，利用云原生技术的劣势，让算法开发人员疾速、便捷地部署和应用 AI 开发生产相干技术和软件。Kubeflow 严格来说并非为一个对立的平台，而是一群涣散工具组件的汇合，各组件可独自应用也可协同配合应用。
白海科技也属于 AI 根底软件平台领域，致力于提供新一代 AI 根底软件平台，推出 Baihai IDP(Intelligent Development Platform)，为企业、数据科学家和算法工程师提供易用的集成开发环境、高性能的计算引擎和高效的数据管理平台。
3. AI 开发平台的外围价值
尽管两类平台在产品状态和侧重点方面具备差别，但均为数据科学家在数据管理、模型开发、计算与训练等算法开发外围环节提供了丰盛工具选项，帮忙其晋升开发效率，升高企业 AI 利用老本。
数据管理：算法开发与训练中，数据起源通常极为扩散，数据存储具备多样性。通过 AI 开发平台，可便捷对接各类数据源，对数据集的接入、增删进行对立治理，简化数据科学家 / 算法工程师在数据接入与治理环节中的工作。
建模筹备：数据品质是影响模型成果的要害，数据科学家和算法工程师通常需耗费大量工夫与精力在数据摸索、数据预处理和数据标注等筹备工作环节。AI 开发平台通过提供可视化的数据摸索工具、数据荡涤和数据加强等预处理工具和数据标注辅助工具，最大化晋升算法开发人员的效率，使其更加专一在模型开发。
模型开发：模型开发方面，AI 开发平台的外围价值是提供高易用性的集成开发环境。在这一方面，集成式机器学习平台和 AI 根底软件平台的性能侧重点具备显著差别。集成式机器学习平台通常同时提供交互式建模和利落拽的可视化建模两种开发工具，以满足业余数据科学家 / 算法工程师和低门槛业务人员 / 数据分析师的差异化需要，其中交互式开发环境以集成开源 JupyterLab、Jupyter Notebook 为主。AI 根底软件平台则更侧重于服务数据科学家和算法工程师，为其提供反对多语言、环境治理、代码辅助、业余包库治理等性能的更便捷易用的交互式开发环境，帮忙其晋升效率。
计算与训练：模型训练须要耗费大规模算力资源和大量计算等待时间。AI 开发平台通过提供分布式训练架构晋升训练效率、升高开发人员等待时间，通过弹性计算资源的治理，无效晋升算力资源利用率，节约算力老本。此外，白海 IDP(Intelligent Development Platform)差异化地提供断点续跑和主动休眠性能，实现工作计算中间状态的保留与复原，确保曾经耗费的资源不被节约，并大幅节约计算与训练工夫。此外，局部集成式机器学习平台如 AWS Sagemaker、百度 BML 开始提供模型评估工具，帮忙开发人员疾速辨认模型抉择和训练中的问题，助力模型迭代优化。
模型部署与运维：企业进行模型开发的最终目标是将其部署于业务利用中，实现商业价值。但模型的部署也面临重重挑战，如需反对不同的框架、异构硬件设施(CPU/GPU/NPU/FPGA 等）等。AI 开发平台，尤其是提供端到端服务的集成式机器学习平台，会帮忙企业进行模型全生命周期的治理，买通开发训练和生产环境，实现模型的疾速高效部署。
图 3 次要 AI 开发平台性能比照 *
（* 依据各产品官网明确公开信息整顿，如有问题请及时分割咱们）
【预报：下一期，咱们将对局部云厂商集成式机器学习平台进行性能和技术的比照剖析，敬请期待】
白海科技：https://www.baihai.co