共计 3044 个字符，预计需要花费 8 分钟才能阅读完成。
会议内容
OpenMLDB 社区于 2022 年 7 月 31 日举办了第五期 meetup，会议相干视频及材料如下：
OpenMLDB PMC core member 卢冕，从低成本、高性能的线上线下一致性特色平台开源解决方案切入，为大家介绍 OpenMLDB 以及开源一周年以来 开源社区的倒退和播种。
，时长 38:42
链接：https://pan.baidu.com/s/1zh_V…
提取码：open
OneFlow PMC core member 成诚，以 OneFlow —— 让大规模分布式深度学习变得更不便为议题，为听众介绍易用性和齐备性进一步欠缺、模型迁徙更方便快捷、大模型反对更高效的 OneFlow v0.8.0 以及其余高可用易扩大的计划和组件。
，时长 54:40
链接：https://pan.baidu.com/s/1U9w0…
提取码：open
OpenMLDB PMC core member 黄威，演示了如何通过 OpenMLDB 计算特色以及如何应用 OneFlow 加载特色数据并进行训练，用实操演练展示如何联合 OpenMLDB 和 OneFlow 轻松实现特色计算与模型训练。
，时长 22:03
链接：https://pan.baidu.com/s/15EtC…
提取码：open
OpenMLDB PMC core member 邓龙，将深刻解析 OpenMLDB 架构设计背地的硬核技术，疏导各位理解 OpenMLDB 毫秒级实时在线特色计算引擎外部实现。
，时长 34:59
链接：https://pan.baidu.com/s/1h0Gy…
提取码：open
探讨交换—OpenMLDB
Q1
OpenMLDB 实用于科研项目吗？目前看起来它更实用于工业利用。
答案
OpenMLDB 目前正在和一个国家级的科研单位单干，单干过程中对方次要是应用了咱们时序数据库的个性去解决 IOT 的数据。尽管 OpenMLDB 参加的不是传统的 AI 我的项目，然而也在参加一些与 AI 相干的数据方面的科研项目。如果有相干的科研需要，OpenMLDB 能够做进一步的延长探讨。
Q2
应用 OpenMLDB 解决数据过期除了工夫指标还有别的指标吗？
答案
除了应用工夫指标外，你还能够指定数据库存储最近的几条，以及应用一些比较复杂的组合指标，具体的内容能够参考咱们的文档。
文档：
http://openmldb.ai/docs/zh/ma…
Q3
OpenMLDB 跟 OpenTSDB 有什么区别？
答案
OpenTSDB 是一个时序数据库，和 OpenMLDB 的线上引擎相似，OpenMLDB 贯通了线上线下的解决引擎，同时做了机器学习的特色工程优化。
Q4
OpenMLDB 只实用统计类特色吗？当前会有些特色工程解决吗，比方 one hot，归一化等。
答案
特色工程解决的算法咱们曾经在开发当中并且实现了一部分，然而因为优先级调整等起因，很多性能还没有与大家见面。预计在 OpenMLDB 0.6.0 版本公布后的小版本迭代里，咱们会陆续把相干性能开源进去。后续也会尽可能欠缺特色工程解决的相干性能。
Q5
实时数据怎么更新到 OpenMLDB？
答案
的确，实时特色计算申请是不会将实时数据插入 OpenMLDB 的。想要做到实时更新须要做一个额定的步骤，比方咱们有接入流，像 Flink 或者 Pulsar，如果从这里走，咱们无需手动插入，就能够做到流式的实时更新。
如果是非流式数据，想插入到 OpenMLDB 在线存储中，能够调用 SDK 或者各种各样的接口拜访插入到 OpenMLDB 在线的存储引擎。
Q6
后续要跑 OpenMLDB+OneFlow 的这个 demo 对机器配置有要求吗？
答案
OneFlow 须要有 GPU 反对，英伟达的 GPU 需要保障驱动版本是 CUDA 11 以上。具体配置 欢送大家后续和咱们一起沟通探讨。在 OpenMLDB 这边，运行没有额定要求，只有有 CPU 反对就好。
Q7
OpenMLDB 所有的 tablet 之间是主从的还是分片式的呢？SDK 是固定发给某一组 tablet 还是随机发给任何一个都能够？
答案
是分片式级别的。对于某一个 tablet 来说，不会有主 tablet 和从 tablet 之分，分片的主从散布在不同的节点上。SDK 不会固定发给某一组 tablet，而会依据 SQL 中信息依照肯定策略发给对应的的 tablet，这样就会节俭数据的拉取，做到优化。
Q8
跳表在稠密特色下的性能和空间耗费怎么样呢？
答案
咱们这里存储的是一个原始的表数据，特色是在线实时计算出来的，而不是把某些特色间接存储进去。
Q9
聚合的窗口粒度和聚合的函数，是怎么抉择的？是基于查问提取的吗？
答案
对于聚合窗口粒度，咱们会有一个默认的窗口大小，当然用户能够依据的数据，在 SQL 下限中抉择聚合窗口的粒度。对于聚合函数，咱们目前只反对一些特定的聚合函数，比如说 count、sum，这部分的内容在文档里能够找到具体的形容。
探讨交换—OneFlow
Q1
当初有什么中央能够试一试分布式训练吗？
答案
OneFlow 有 AI 云，能够通过云服务申请免费资源体验分布式训练。
Q2
OneFlow 为什么能做到单机 / 分布式如此简略？
答案
次要是 global tensor 和 SBP 的概念和反对。
Q3
OneFlow 反对的模型并行中，对底层网络有要求吗？
答案
底层网络越快越好，如果网络带宽很高，譬如 RDMA 对各种并行都会有帮忙。有的模型自身通信量不大，带宽不须要多高，也能够高速训练。
Q4
OneFlow 反对在 Kubernetes 上做分布式训练不？
答案
反对，能够像应用分布式 Pytorch 一样，用 K8s + docker，应用相似 Pytorch 的 distributed launcher 启动。
在 docs.oneflow.org 网站上用 launch 模块启动分布式训练 – OneFlow。
Q5
请问 OneFlow 反对卷积算子的张量并行吗？
答案
实践上是反对的。咱们理解的卷积的计算特色大部分是数据浓密但模型绝对很小的网络，不过咱们仍然能够做切分。稍后可能会做一个相干的案例分享给大家。
Q6
后面提到分层存储，会有局部 embedding 间接存储在 GPU 存储外面吗？计算时主动把 embedding 从 GPU/DRAM/SSD 之间主动置换是吗？
答案
会的，为了高效计算须要将局部 embedding 间接存储在 GPU 存储外面。是的，主动在 GPU/DRAM/SSD 之间做转移，使得 GPU 上始终是高频计算的局部。
Q7
GPU 存储的 embedding 比例大略有多少呢？GPU 卡内存大小影响大吗？
答案
是配置了 GPU 上存储 embedding 词表的空间容量，譬如 12GB, 或者 24GB，如果 embedding 规模不超过 12GB 或 24GB，那么 100% 在 GPU 上，如果 embedding 词表 是 120GB，那么就是 10% 存储在 GPU。
Q8
OneFlow 和 Horovod 有做过性能比照吗？
答案
做过，做数据并行的话，OneFlow 比 Horovod 快很多。
Q9
对 PB 级的训练数据，OneFlow 有好的解决方案吗 (数据平行)？
答案
如果是数据十分大，模型不是特地大，Tensorflow, Pytorch, OneFlow 的解决方法是差不多的。
OpenMLDB 社区
在此感激大家对于本次 meetup 的大力支持，如果想进一步理解 OpenMLDB 或者参加社区技术交换，能够通过以下渠道取得相干信息和互动。
Github: https://github.com/4paradigm/…
官网：https://openmldb.ai/
Email: [email protected]
OpenMLDB 微信交换群：
