5月26日-27日，由msup主办的2023年A2M峰会在上海南新雅皇冠假日酒店盛大举行。本次A2M峰会以“AIGC时代下的AI落地实际、数据智能和基础架构演进”为主题，邀请了100余位行业专家从撑持数字化转型的几个关键技术切面动手，甄选前沿有典型代表的84个技术创新及研发实际的架构案例，分享他们本年度的总结和实际启发。
峰会第二日，华为云Serverless研发工程师朱安东带来了主题为“Serverless“遇见”AI，开释AI生产力”的分享，重点介绍了业界当先的基于函数计算的Serverless AI 推理解决方案，并展现了华为云函数工作流（FunctionGraph）的灵便、速度，如何让开发人员晋升工程效率，缩短TTM等。
华为云 serverless研发工程师 朱安东
朱安东示意：“AIGC正逐步在千行百业生根发芽，并且疾速成为了行业中重要的生产力工具。随同着AIGC大模型以及领域专家类型的中小模型的疾速演进，引发了海量AI推理、大模型托管以及底层弱小算力的诉求。
然而，要想实现AI扎根千行百业、实现“AI everywhere”的最终目标，咱们依然有很长的路要走。”
Serverless—— AI everywhere的下一块拼图
从业内工程师的角度来看，AI利用迭代倒退的外围痛点次要蕴含2个方面：
1.算法工程师作为AI利用的外围开发者通常只会和模型、数据以及代码打交道，次要工作围绕数据荡涤、数据工程、特色工程还有模型设计、开发、训练等，偏钻研和实践方向。然而一旦波及到算法模型和AI利用的最终落地，推广给大量用户应用就会波及到模型公布、上线等动作，为了实现这些流程，开发者通常须要去花工夫和经验学习托管类常识，尤其是云原生时代下的docker 还有k8s等；
2.对于参数量很大的模型上线后很难找到足量、优质的算力资源疾速取得推理后果，推理性能差。从基础架构工程师的视角来看，GPU硬件设施老本高，钻研阶段的需求量尚且可能满足，然而上线前面对海量用户和申请的资源量过于宏大，须要大量的投入；
另外，业务通常都是有浮动趋势的，就像旅游业的旺季和淡季，为了满足业务峰值筹备的资源在业务量低的时候资源利用率也随之升高，资源重大节约。
综上，AI利用如果想深刻到人们的生存仍有很多问题须要克服。那么如何减速AI利用疾速落地、麻利迭代呢？
Serverless是以利用为核心的新型云原生计算状态，这是业界的共识。
而“用户无感、按需应用、以利用为核心，无需关注基础设施”这几个个性正好能够解决AI利用的几个痛点问题：
1.以利用为核心：AI工程师能够专一业务逻辑和模型performance，节约下大量的工夫和精力。
2.无需关注基础设施：企业和架构工程师无需提前准备海量计算资源、自建机房，只需按需应用，按量计费。
华为云FunctionGraph解决AI用户上云4大问题
华为云FunctionGraph函数工作流是一项基于事件驱动的函数托管计算服务，通过函数工作流，只需编写业务函数代码并设置运行的条件，无需配置和治理服务器等基础设施，函数便能够弹性、免运维、高牢靠的形式运行。对于现阶段人们对业务、弹性以及降本增效等诉求晋升，华为云FunctionGraph无疑是AI推理Serverless化的优质选项。
在Serverless的开发模式下，开发人员和交付流程实际上是有显著界线的。开发人员只须要上传代码包或者一个镜像文件即可让整个业务跑起来，不须要面对繁琐的交付流程。
为了让用户可能在Serverless平台上更加丝滑、晦涩的开发和运行AI，华为云FunctionGraph推出了针对AI场景的解决方案，次要解决AI用户上云的四大问题：
①工程效率模型开发、编排：专一业务代码，NoOps，低码编排反对代码包，容器镜像
②性能、弹性：长时负载，反对异步函数调用，最长函数执行工夫72小时冷启动问题：池化预热、弹性调度
③运行时、异构计算：反对GPU/NPU，减速推理性能反对GPU共享，晋升资源利用率
④模型加载减速：大文件加载：OBS+SFS联合，解决ML模型库&模型本身大文件加载问题；链路减速：高性能解压缩转换，降网络开销、CPU解压耗时；共享内存减速技术，降解压IO开销；依赖包预加载，升高公共依赖的下载、解压耗时
同时华为云FunctionGraph基于函数计算的 Serverless AI 推理解决方案具备5大劣势：
1.更低的学习老本，更卓越的工程效率，更短的TTM
华为云FunctionGraph能够极大晋升开发效率。精通Python的算法科学家无需学习如何装置、配置和操作简单的计算和数据存储基础设施, 通过可视化拖拽式函
数流便能编排简单业务场景。此外，函数还反对容器镜像，简化了AI推理Serverless化。
2.丰盛的函数开发生态。
华为云FunctionGraph反对GPU/NPU能力，具备GPU虚拟化技术，从而进步GPU硬件资源的利用率并升高应用老本。
3.更低的资源老本，按需付费，提供工作负载感知智能举荐能力。
函数计算以1ms粒度按量计费，函数编排基于节点执行次数计费
4.极致的冷启动、弹性及更智能的调度能力。
资源池化预热、分层预加载与弹性水位管制：通过单实例多并发、分层预热晋升性能、降低成本。函数实例百毫秒冷启动时延，毫秒级弹性。
5.多维度联合的大文件加载减速能力。
高性能解压缩转换，降网络开销、CPU解压耗时。
共享内存减速技术，降解压IO开销。
依赖包预加载，升高公共依赖的下载、解压耗时
Serverless代表现代化架构的演进方向，与微服务将长期并存，在5-10年内将成为云的首要交付模式。依据IDC明天公布的《寰球半年度私有云服务跟踪报告》显示，2020年寰球云计算市场同比增长24.1%，支出总额达3120亿美元。同时Serverless对客户端还具备老本优化、效率晋升的商业价值。面对Serverless的倒退大势，华为云将打造全栈全场景的Serverless能力，并在音视频、数据处理、物联网、端测利用等场景优先推广落地，围绕这些场景进行打穿，推动相干高阶服务进行Serverless化革新。往年，华为云在能力打造上将优先推出函数计算2.0、Serverless利用托管 CAE、事件网格服务EventGrid、ADM等；同时，也将在Serverless开发工具及可观测性上构建端到端的能力，并重点在前端Trigger、后端BaaS上进行丰盛，全面打造Serverless利用生态。华为云FunctionGraph期待与更多的开发者见面。
华为云继续将最先进的技术提供给寰球的客户、搭档和开发者，助力千行百业的客户商业胜利。————————————————————————————————————————————————————
产品链接：
https://auth.huaweicloud.com/authui/login.html?locale=zh-cn&service=https%3A%2F%2Fwww.huaweicloud.com%2Fproduct%2Ffunctiongraph.html%3Futm_source%3D%26#/login
发表回复