关于云计算:计算巢实现大模型微调如何发布一个微调服务

各位看官，最近是否被大模型相干信息刷屏了呢，铺天盖地的大模型预训练、微调等各种关键词是否让你目迷五色呢？在如此热度之下，你有没有想过本人亲自动手部署一个大模型执行训练或者微调呢，或者你已经尝试过却被某个繁琐的步骤劝退了呢？又或者你是模型的钻研人员或开发人员，想要让你的模型服务更多用户、有更大的影响力？如果你有本人的根底大模型供应其他人精调，却苦于难以部署、难以让用户上手应用等各种问题，来试试计算巢吧，你的这些问题都将迎刃而解！

依照传统形式，想要对一个大模型进行微调一共须要以下这些步骤：

首先须要创立云资源或者应用线下资源，而后装置各种 GPU 驱动和各种依赖环境。接着须要本人编写微调脚本或者找一些开源的微调办法，而后就是一系列的 pip install 或者 conda install。运气好的话，你的微调可能顺利 run 起来，可是稍有差池，兴许就会抛出各类谬误让你解体。讲到这里有没有勾起你苦楚的回顾呢？没关系，计算巢将为你彻底解决这些懊恼！！！

本文将以 ChatGLM 高效微调为例，为各位展现在计算巢中如何公布一个可能实现大模型的零代码微调的服务。

本文是基于 ECS 镜像进行部署的，所以第一步请在 ECS 控制台制作蕴含 ChatGLM 高效微调代码和运行环境的 ECS 镜像。接下来请拜访计算巢创立关联该镜像的部署物。填写部署物的根本信息并抉择关联刚刚创立的 ECS 镜像即可实现部署物的公布。

登陆到阿里云计算巢控制台点击创立服务进行服务新建，填写您要公布服务的根本信息。

接下来重点来咯～在服务部署信息中，咱们须要填写 ROS 模版或 Terraform 模版来定义咱们所须要的资源和资源之间的依赖关系，文末给出了示例模版链接供大家参考。您也能够在 ROS 可视化编辑器中尝试编写本人的模版！

如果您的模版胜利通过校验，那么祝贺，咱们的部署过程曾经胜利一大半了！

在后面咱们曾经筹备好了部署物，当初能够派上用场了。点击设置镜像关联，在实例创立时将主动基于咱们的自定义镜像拉起实例。

如果您不想要通过镜像关联的形式，也能够在 ROS 模版中定义 RunCommand 来初始化您所须要的环境，能够依照爱好随便抉择两种形式中的一种。

接下来还剩最初一步：定义微调运维操作。

运维操作是指应用通过运维编排（OOS）对创立的资源进行自动化运维。简略来说，在这里咱们的目标是利用 OOS 及其集成的能力向指标 ECS 下发微调指令。

您在微调中须要的参数以及各种限度关系都能够通过您编写的 OOS 模版进行填写或抉择。这些参数最终将组装成为 Shell 或 Python 脚本下发到指定 ECS 上从而执行微调工作。编写好的模版出现成果长上面这样：

微调操作中的参数是通过 OOS 模版 Parameters 字段设置的，而 Parameters 中设置的参数最终会在 RunCommand 中被援用，上面给出一个简略的示例帮忙您了解 OOS 模版。具体示例参考文末给出的示例模版链接。

FormatVersion: OOS-2019-06-01
Description: 执行指定微调脚本运维操作
Parameters:
  regionId:
    Type: String
    Label:
      en: RegionId
      zh-cn: 地区 ID
    AssociationProperty: RegionId
    Default: '{{ACS::RegionId}}'
  workingDir:
    Type: String
    Default: /root/ChatGLM-Efficient-Tuning
    Description: 脚本执行门路
   ...
Tasks:
    Properties:
      commandContent: |-
        #!/bin/bash
        write your finetune script here
      workingDir: '{{workingDir}}'
      instanceId: '{{ACS::TaskLoopItem}}'
      commandType: RunShellScript
      timeout: '{{timeout}}'

与 ROS 模版相似，咱们也提供了一个执行 ChatGLM 微调工作的 OOS 模版供您参考，或者您也能够在 OOS 控制台编写您的 OOS 模版来定制运维操作。

至此，创立一个大模型微调服务的所有必要操作都曾经实现，点击“保留并提交审核”即可在审核通过后胜利公布服务！！！

通过以上步骤，用户将在计算巢服务页面看到您刚刚创立的大模型微调服务，用户点击即可部署属于本人的大模型微调服务，并且一键执行微调，真正做到零代码实现微调。

本文具体介绍了如何在计算巢中公布一个大模型微调服务。通过计算巢在私有化部署场景下提供的一键部署、高效运维等多种能力，最大水平上简化了大模型部署和微调的流程，使大模型的应用门槛升高最低。欢送各位来计算巢试用体验～～

参考模版链接

ChatGLM 微调服务公布 ROS 模版：https://github.com/aliyun/ros-templates/blob/master/compute-nest-best-practice/opensource/chatglm-finetune/template.yaml

ChatGLM 微调 OOS 模版：https://github.com/aliyun/ros-templates/blob/master/compute-nest-best-practice/opensource/chatglm-finetune/oos/finetune.yaml

点击立刻收费试用云产品开启云上实际之旅！

原文链接

本文为阿里云原创内容，未经容许不得转载

关于云计算:计算巢实现大模型微调如何发布一个微调服务

前言

服务部署步骤

1. 服务镜像筹备

2. 服务信息填写

3. 部署信息填写

3.1 资源编排模版填写

3.2 部署物关联

3.3 运维编排模版填写

4. 公布服务

总结