关于serverless:如何让-Llama2通义千问开源大语言模型快速跑在函数计算上

5次阅读

共计 2311 个字符,预计需要花费 6 分钟才能阅读完成。

本文是“在 Serverless 平台上构建 AIGC 利用”系列文章的第一篇文章。

前言

随着 ChatGPT 以及 Stable Diffusion,Midjourney 这些新生代 AIGC 利用的衰亡,围绕 AIGC 利用的相干开发变得越来越宽泛,有呈井喷之势,从长远看这波利用的暴发不仅仅是停留在模式之上,更是在各个领域产生理论的生产力价值,比方办公畛域有 copilot system 365, 钉钉智能;代码编程畛域有 github copilot ,cursor ide; 娱乐畛域的妙鸭相机;能够必定的是将来 AIGC 的利用数量会更多,类型也会更加丰盛,企业的外部软件或者 SOP 都会尽可能的跟 AI 进行交融,这必然催生出海量的 AIGC 利用开发需要,这也代表着微小的市场机会。

开发 AIGC 利用的挑战

AIGC 的利用前景如此迷人,可能决定企业将来的倒退走向。然而对很多中小企业及开发者而言,上手进行 aigc 利用的开发仍然有着十分昂扬的老本:

  • 根底模型服务的获取:chatgpt 提供了十分欠缺的 api 开发体系,然而并不凋谢给国内客户应用,开源的模型进行服务的部署十分艰难
  • 昂扬的费用,GPU 短缺导致 GPU 的费用急剧飙升,本地购买高规格显卡须要一次性破费不少的老本,并且并不能提供在线服务。
  • 端到端的对接:单纯模型服务的 api 无奈变成间接的生产力,须要实现【企业数据 & 企业 SOP】-> LLM 服务 -> 各种端侧的残缺链路

    函数计算 AIGC 利用的解决方案

    函数计算围绕创立和应用 AIGC,从基础设施到利用生态,开发端到应用端提供的残缺的配套

    次要蕴含三个局部:

  • 一、模型服务底座,函数计算能够部署来自魔搭,huggingface 等开元社区的 ai 模型,咱们针对 LLM,Bert 等智能知识库 / 助手 场景做了专门的定制,接入 OpenAI 兼容的 api 标准,提供一键部署的模版和可视化的 web 拜访界面,帮忙开发者或者企业疾速上手 llama2,chatglm2, 通义千问等模型的部署
  • 二、业务连贯层,串联业务需要以及的模型服务,平安服务,数据库服务等根底资源,这部分有在 AIGC 利用局部有很多雷同的逻辑,比方账号体系,数据集治理,提醒词模版,工具治理,模型服务治理等,从各业务侧视角看,不一样的局部只是 提醒词,知识库以及工具集,底层的模型服务,平安服务,数据库服务则是共享的,这层能够简化业务外面构建不同智能场景的流程,疾速,低成本的能够构建不同业务的 AIGC 利用
  • 三、客户端侧,客户端是 AI 利用的应用局部,也是最靠近业务的局部,这部分更多的思考是如何将 AI 服务融入已有的应用端,比方钉钉,企业微信等办公 IM 零碎,以及 web 浏览器插件等,通过 函数计算 +eventbridge 能够疾速帮忙 ai 服务接入到这些客户端

本篇教程先来分享一下第一个局部,如何通过函数计算疾速部署 AIGC 相干模型服务包含 LLM 模型 和 Embedding(Bert) 模型

LLM 模型及 Embedding 服务部署教程

后期筹备

应用该我的项目,您须要有开明以下服务:

服务 备注
函数计算 FC 对 AIGC 进行 CPU/GPU 推理计算 https://free.aliyun.com/?pipCode=fc
文件存储 NAS 存储大语言模型以及 Embedding 服务所须要的模型, 新用户请先支付收费试用资源包 https://free.aliyun.com/?product=9657388&crowd=personal

利用介绍

利用详情

应用阿里云函数计算部署开源大模型利用,提供兼容 openai 标准的接口和 ChatGPT-Next-Web 客户端.

操作文档

llm 利用模版

登录到阿里云函数计算控制台 -> 利用 -> 创立利用 -> 人工智能 抉择 AI 大语言模型 API 服务 利用模板点击 ” 立刻创立 ”

利用模版设置

设置好晓得点击 ” 创立并部署默认环境 ”

期待部署

该过程您会主动实现

服务拜访

服务部署胜利之后会返回两个链接
1、llm-server 为大语言模型的 api 服务界面,基于 swagger,

2、llm-client 则是拜访客户端, 拜访客户端须要您输出后面填写的客户端公有明码,填写好之后就能够测试应用了

embedding 模版

登录到阿里云函数计算控制台 -> 利用 -> 创立利用 -> 人工智能 抉择“开源 Bert 模型服务”利用模板点击 ” 立刻创立 ”

利用模版设置

抉择好地区创立即可

期待部署

该过程您会主动实现

服务拜访

测试 embedding 接口

总结

部署好 LLM 服务意味着您曾经开启了 AIGC 利用的开发旅程,接下来我会持续跟大家分享更多对于 AIGC 相干的内容,包含如何构建知识库问答利用,如何调用工具欠缺大语言模型的能力,如何接入本人的 IM 零碎和构建 web 的集成插件。

宇宙漫游,阿里云 x 森马 AIGC T 恤设计大赛

一、

【森马 X 阿里云 AIGC T 恤设计大赛】程序员 AIGC 本人的 T 恤,赢 Airpods,图案定制 T 恤!
通过函数计算 FC 快捷部署 Stable Diffusion:内置模型库 + 罕用插件 +ControlNet,反对 SDXL1.0

立刻加入:https://developer.aliyun.com/adc/series/activity/aigc_design
可赢取 Airpods 三代,作品 定制联名 体贴,森马行李箱等周边!

二、

还能够加入话题流动,一起探讨 AIGC 的将来发展趋势,用户可从任意角度交换分享,能够博得护眼台灯、数据线、静音净化器奖品!
话题:《相比优良的服装设计师,AIGC 能够如何冲破设计灵感的界线?是纯正的机械语言还是一点点的灵光乍现?》
https://developer.aliyun.com/ask/548537?spm=a2c6h.13148508.setting.14.4a894f0esFcznR

正文完
 0