关于mysql:SQL也能做AI-没错MLOps-Meetup-V3-回顾｜OpenMLBDSQLFlowByzer

10次阅读

共计 3724 个字符，预计需要花费 10 分钟才能阅读完成。

7 月 10 日，由星策社区主办的第三期「MLOps Meetup」于线上发展，本次流动由 51CTO、开源中国、CSDN、思否、示说网、云原生社区同步直播，累计观看人次1.5w+。

流动围绕“如何应用 SQL 实现工业级机器学习全流程”，星策社区发起人—谭中意 ，为本次流动进行收场，同时介绍了“SQL boy 也能够做 AI”的流动背景；开源我的项目 OpenMLDB PMC、第四范式平台架构师— 陈迪豪 ，介绍如何用 SQL 实现特色工程；百度飞桨、EDL、SQLFlow、Couler 外围开发者贡献者— 武毅，分享如何用 SQL 做模型训练与预测；Byzer 社区 PMC、Kyligence 技术合伙人— 祝海林，介绍如何用 SQL 实现端到端机器学习流程。

🌟本文依据四位老师分享的重点内容整顿而成，视频回顾见文章开端，PPT 获取请关注公众号「星策开源」并回复「0710」

为什么 SQL 现在仍在风行？

SQL 从 1978 年倒退至今仍在业界十分风行，起因有以下几点：首先，SQL 是一种申明式编程语言，它只需表白想要失去的后果，而不必关怀具体实现的过程。其次，SQL 是标准化的，只有是符合标准（ANSI 等）的 SQL，在不同的机器与环境下都能够运行，并失去同样的后果。最初，SQL 最大的长处就是简略，工程师能够很容易学习和应用。

SQL 的用处

SQL 的用处很广，比方在传统的企业业务零碎里，用 MySQL 数据库或微软 SQL 数据库等做 CRUD 的利用。大数据的数据分析畛域，有 Spark SQL、HiveSQL 等。除此之外，SQL 的利用也能波及机器学习畛域，它能够实现特色工程、模型训练，甚至能够做端到端的机器学习。本次 Meetup 就将介绍如何用 SQL 实现这些。

人工智能工程化落地的数据和特色挑战

依据 Gartner 的考察统计，现在人工智能畛域中 95% 的工夫精力都破费在数据上，如何正确、高效的 AI 数据和特色供应成为数据侧的新挑战。机器学习利用从开发到上线的全流程（MLOps）能够分成离线开发与线上服务两个过程，这两个过程别离蕴含：DataOps、FeatureOps、ModelOps 三个步骤。其中特色问题尤为辣手，如 FeatureOps（特色工程）中线上线下一致性校验带来的昂扬工程化落地老本问题。为了解决这一问题：1% 的头部企业抉择消耗上千小时自研构建平台，非头部企业有的则会洽购低廉的 SaaS 工具和服务，而 OpenMLDB 提供了另一种解决方案，它以 SQL 为外围，提供了低成本、高效的线上线下一致性生产级特色计算平台。

OpenMLDB 用 SQL 实现开发即上线

OpenMLDB 是一个开源机器学习数据库，提供了线上线下统一的特色平台，他的整体架构如下图所示，与 AI 利用落地所须要的工具链一样，整体框架分为离线与在线两局部，别离提供了基于 Spark++ 的批处理 SQL 引擎与基于自研时序数据库的实时 SQL 引擎，中间层提供了基于 SQL 的一致性执行打算生成器。总结来看，通过 OpenMLDB 开发者只有会写 SQL，只需三步，即可实现开发即上线的过程。

以 SQL 为外围的开发和治理体验

应用 OpenMDLB，SQL boy 也能够做机器学习。如下图所示 OpenMLDB 的命令行与 SQL 命令行相似，进入 OpenMLDB CLI 后，用户能够间接执行 SQL 语句做离线特色计算，同时通过 Deploy 语句将 SQL 计划上线，上线实现后即可在客户端做线上申请。整个应用体验均基于 SQL，升高了机器学习特色工程局部的应用门槛。

OpenMLDB GitHub（https://github.com/4paradigm/OpenMLDB）

SQLFLow

SQLFlow 是一个编译器，它能够将 SQL 程序编译为在 Kubernetes 上运行的工作流。该输出是一个 SQL 程序，用扩大 SQL 语法编写，以反对 AI 作业，包含培训、预测、模型评估、模型解释、自定义作业和数学编程。输入是在分布式 Kubernetes 集群上运行的 Argo 工作流。同时，SQLFlow 反对各种数据库系统，如 MySQL、MariaDB、TiDB、Hive、MaxCompute 以及许多机器学习工具包，如 TensorFlow、Keras、XGBoost 等。

为什么应用 SQLFLow

家喻户晓，应用 SQL 实现 AI 计算不须要理解具体的计算细节，只须要定义要去训什么样的模型及参数，就能够实现整体的训练。SQLFlow 的指标就是为了升高整体机器学习和 AI 利用构建多门槛，同时它还是 Declarative 和 imperative 并存的，SQLFLow 能够更 High Level 的定义整个模型及数据的流向。

SQLFLow 劣势

如下图所示，SQLFLow 在对标 Microsoft SQL Server、Teradata SQL for DL 及 Google BigQuery 上领有以下四个劣势：它能够适配支流数据库系统、适配每个数据库系统的语法方言、定义扩大语法实现训练 / 预测 / 解释 / 线性规划、同时还能模型库 / 自定义模型的性能。

其中，对于 SQLFLow 如何具体训练 DNN 等 DL 模型、主动调整参数、训练 XGBoost 模型、执行预测、模型解释 (SHAP)、应用模型库中的模型 / 自定义模型、求解线性规划问题(linear programming)、运行自定义程序等设计细节可查看文章开端残缺视频。

在 MLOps 上的实现

“3-Flow”是 KubeFlow、MLFlow、SQLFlow 的整合，能够笼罩 MLOps 里大部分的流程。目前该我的项目应用 Helm Chart 在其余环境疾速装置和配置 Kubeflow，SQLFlow 的退出实现了一体化部署以及对应性能。将来，将退出 ParaFlow SDK 等模块，持续欠缺其 MLOps 性能。

SQLFLow GitHub（https://github.com/sql-machin…）

Byzer 是什么

Byzer 是一门面向 Data+AI 畛域的云原生类 SQL 语言。目前，Byzer 反对 ETL，数据挖掘和剖析，机器学习建模，模型部署。应用 Byzer 就能轻易实现整个机器学习的 Pipline，这包含：加载数据、解决数据、模型训练（反对多组参数，模型版本等）、批量预测、模型评估、部署 API 服务。架构图如下。

为什么须要 Byzer

现在，大数据和 AI 的门槛依然很高，平台割裂，语言割裂，保护艰难，应用艰难等问题让很多人望而生畏。Byzer 的呈现能够帮忙企业和集体都可能最低老本地开掘数据的价值，极大升高 Data + AI 门槛。

Byzer + OpenMLDB

尽管目前，Byzer 曾经能够实现简直不须要编程就能实现整个机器学习的 Pipeline。但对于特色工程，尤其实时在线特色计算这块，Byzer 目前还有软肋。所以在引入 OpenMLDB 之后，完满解决了 Byzer 在特色工程方面的短板。流动中具体演示了以 Kaggle 出租车行车时间预测问题为例，如何应用 OpenMLDB 和 Byzer 联结来打造残缺机器学习利用，涵盖湖仓数据加载，特色计算，模型训练，部署，及对外以 Rest API 提供端到端的预测能力，可查看文章开端残缺视频。

总结来看，应用 OpenMLDB+ Byzer 的过程，让整个特色计算通过 FeatureStoreExt 插件转化到 OpenMLDB 中进行计算。Online 局部通过 Rest 函数实时申请 OpenMLDB 取得特征值。Byzer 作为流式解决，能够将数据规整化写入 Kafka 再进入 OpenMLDB。由此能够发现，Byzer 的应用十分具备扩展性，能够让算法工程师 / 数据工程师 / 分析师等在 Notebook 中连接更多的生态进来。

Byzer GitHub（https://github.com/byzer-org/…）

总结

随着人工智能畛域的继续倒退和技术的迭代演进，机器学习不再是大家触不可及的畛域，工程师能够通过一些如 SQL 这样更简略、易用、低门槛的编程语言，通过像 OpenMLDB /SQLFlow / Byzer 等开源工具，疾速实现机器学习利用全流程，解决机器学习各阶段难题。置信在将来，AI 的落地会越来越简略，落地速度也将越来越快。本次流动中各家的实现细节可观看残缺视频回放，心愿大家有所播种。

最初，欢送大家继续关注 MLOps，退出 MLOps 爱好者交换群和咱们一起探讨相干内容。