共计 5242 个字符，预计需要花费 14 分钟才能阅读完成。
引
如果你也有如下问题，那么接下来的文字会一一为你解答
- 一套数据集，如何微调不同类型的开源大模型？—— Bedrock
- 如何只有产品说明书，如何构建一个智能问答机器人？—— Q
- 哪里还有收费的 GPU 算力——在线 Jupyter 平台？—— SageMaker
亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注 / 珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！
发布会
亚马逊云科技 re:lnvent 发布会，在 2023 年 11 月底于拉斯维加圆满召开，介绍了一些云产品的降级，以及自研芯片的降级、性能晋升。当然往年的重头戏就是 AI，此次降级了 Bedrock 服务提供了更多功能，并推出了企业级 AI 助手——Q)，对于 ML 研究者，降级后的 SageMaker 提供了和 Jupyter 统一的机器学习（ML）环境。
AI 云服务
此次发布会，我最关注的亚马逊的 AI 服务，我发现它在这下面做了十分多的差异化性能，相较于 openAI，微软、Google 等 AI 云服务公司，亚马逊云的 AI，这些性能是独居特色的的：
爱护用户隐衷、不会用用户的数据来训练
反对定制化得模型数据
对 fine tunning 优化，不须要太多专业知识就能微调大模型
模型价格便宜，微调之后的模型老本有所晋升，但仍然比 GPT3 便宜。
在以后 AI 淘金潮中，亚马逊保持做最好的——“铲子”
面向开发者
如何让一般 IT 人员也能上手 AI 产品
作者我作为后端研发，天天 CURD 做业务。对于 AI 大模型，只会用用聊天机器人，用文字描述生成图片。至于如何训练、调试大模型我是丈二和尚——摸不着头脑，大家都在聊，AI 赋能产品，作为一名一般 IT 人员，以后只能“玩玩”它，至于产品赋还把握不住。以后工夫点，凡是一个升高 AI 应用门槛的工具开源，那都是 10k Star 级别的热度，例如：lang-chain, hinese-LLaMA-Alpaca, LLaMA-Factory
所以，作为普通人，是十分违心接触 AI 的，但目前开源 AI 产品对于普通人来讲，还是有十分高的应用门槛。当初就有很多云服务商就开始做人与 AI 算法产品之间的连接工作。
Bedrock
Bedrock – Amazon 提供一个简略的入口，让大家可能疾速构建起生成式人工智能应用程序。它的能力有这几个方向：
- 文本生成
- 聊天机器人
- 向量搜寻
- 文本摘要
- 图像生成
Bedrock 采纳了市面上优良开源的模型，来实现如上工作。模型有：
- Jurassic-2
- Claude
- Command
- Stable Diffusion
- Llama 2
当然亚马逊本人也研发了大模型——Titan
小试本领
咱们要试用大模型，还须要申请模型权限，其实就是勾选一下。
Chat 模型
这里体验了一下 LLama 2 13B, 具体应用状况如下：
文生图
应用 SDXL 1.0 生成了一张 1024\*1024 图片，耗时 20s 左右。
我又试用了一下 亚马逊的 Titan Image G1 模型，同时生成了 3 张 1024\*1024 图，大略花了 30+s
对了，如果一下生成多张图片，批量下载时会压缩成一个 zip 包再下载。但我用过后，发现这个 zip 包解不开，感觉这个压缩有问题，如果大家也遇到了，能够点开图片，一张张独自下载，就好了。
对于：Amazon Bedrock Image playground，the zip of the generated image cannot be extracted
微调
相较于咱们平时用的 ChatGPT3.5、4 两代通用模型，亚马逊提供了可定制性、可微调，能够应用保留在云上语料库、知识库进行训练（fine tunning)。
也就是说你能够通过应用大量的数据微调大模型，让模型学习到新的货色，你再向模型发问时，就不须要提供简短的上下文信息了，这样能够节约大量的 token，还能进步模型响应速度。
创立 Fine-tunning 工作
通过 Custom models 抉择 Fine tuning job 就能
微调工作，你只须要提交数据集即可，数据集的格局，你可参看这个文档。dataset format
这样就创立好 微调模型工作了，而后这个模型就是为你定制的，要是用这个 微调模型，还须要额定购买工夫的，这个费用也不低，如果你的用量大，微调模型的性能是能抹平这部分老本的。
价格
Bedrock pricing
Meta Llama 2
按需和批量定价
模型定制（微调）的定价：
Stability AI
相较于 GPT 系列，价格要便宜很多，因为模型大小可选，通用型不如 GPT，但提供了定制、预训练、微调性能，提供更具性价比的模型服务。
劣势
Bedrock提供一站式的：多种开源大模型，以及配套的模型微调，dataset 预处理性能。在 Bedrock 你只须要相熟一个模型的应用、调优、数据投喂性能，那么你就能应用其余所有同类型模型了，如果是本人调适多个模型，那么不同模型的 dataset 格局、调优参数都是微小的工夫老本。
在重度、商业化应用条件下，是占有老本、速度劣势的。如果你有海量大模型应用申请，并且每次申请都要带上长长的上下文信息，那么无妨试试微调大模型。
企业级 AI 助手——Q
Amazon Q 是基于 Amazon Bedrock 构建一款齐全托管的生成式 AI 驱动的企业聊天助手
最近登录亚马逊后盾时，我就发现 Q 已实装到亚马逊云的控制台了。是的，它的次要状态就是聊天助手。通过聊天的模式为你提供服务，就是 IM 客服。
借助 Q 的能力，可能帮忙普通用户疾速理解亚马逊云服务，如果可能它还会提供对应的链接地址，大家点击就能跳转到对应的页面。让个别用户在没有业余的亚马逊技术售前的帮助下，也能实现一些工作，这就是为 console 平台“增效”了。
定制本人的 Q
亚马逊云控制台里的 Q，能够说是 Q 的最佳实际。那么接下来，我就带大家来定制一个 IM 技术客服。
创立 利用
拜访 Amazon Q 控制台, 创立一个利用
目前 Q 还是预览版，没有寰球公布，所以制订地区可用，这里选的 弗吉尼亚。
第一步：命名
这里应用默认值，不必改，点下一步。受权可能会耽误点工夫，等一会儿就好。
第二步：Retriever 抉择
如果不分明就间接抉择 native retriever。
第三步：数据源
数据源空过，间接脱到底创立。
体验
点击刚刚创立 Q application，进入到这个利用
空白的体验
点击 review web experience 就进入了一个聊天室。
以后，咱们还没有上传任何文档，也没有配置 retriever，咱们问它几个问题试试。
它间接回复没有数据源，不晓得。
数据源增加
回到咱们的利用主页面，点击 Add data source
这里咱们抉择上传文档，点击 Upload docs
对于数据源，我抉择了 Codis 的文档。
上传文件, 他是反对 markdown 文件的，我就上传了 tutorial_en.md, FAQ_en.md 两个文件。
学习后的对话
上传文档后，咱们再来问问 Q。能够看到它能依据咱们提供的文档，进行答复了。
前面还跟上了数据源，也就是它的答复根据是哪些文档。
中文
大家都看到了我始终都在应用的英文和它交换，因为目前的预览版对中文的反对还不那么好，我这也上传了些中文文档，而后进行对话发问，后果如下。
还是比拟期待它能齐全反对中文，到时候就能赋能国内业务了。
感触
相比于其余 AI 产品，须要筹备大量数据集，预训练，参数调优，以及服务部署。
你只有投喂文档、数据给 Amazon Q，他就能成为某方面的专家，依照你的文档答复问题，你能够说它是一个更聪慧的搜索引擎，或者智能客服。
整个体验下来，我感觉不懂 IT 的敌人也能上手，目前亚马逊对它的定义是——生成式 AI 驱动的企业聊天助手。从它的易上手水平、以及智能水平。我感觉它能够用作：
- 集体知识库助手
- 企业知识库搜寻入口
- 智能客服
- 售后技术顾问
刚刚是在亚马逊的 Web 上体验了 Q，它当然提供了 API 供你染指本人利用外部。
响应速度
10 词 / 秒 左右
我在 Web 端体验是这样的速度。不同于 ChatGPT 一个个字得吐，Q 是生成完所有文字后一次性返给前端，所以给人感觉是有点慢。但这个输入速度，其实和人打字速度差不多了。
价格
Amazon Q pricing
AI 技术顾问
就拿 AI 技术顾问为应用场景，咱们把产品的应用文档，以及常见问题，以及解决方案投喂给 Q，Q 就能够依照用户的发问，帮文档去查找解决方案，并通知客户。
是的，当你提供的云服务控制面板报错时，不须要让客户到处去百度，xx 云平台报错该怎么办了，这个时候，右下角弹出一个 Q，征询下客户遇到了什么问题，就能疏导客户自行解决问题了。
相较于传统技术支持：
- 免费版没有技术支持
- 标准版工作日工单反对（工单还要排队
- 专业版 工作日通过 IM 技术支持。
借助 Q 能够做到 7 *24 小时 秒级反对咱们的客户！便宜的价格能够让 Q 下放到标准版，甚至 使用版。
对于一些业余、有肯定应用门槛的产品，借助 Q 是可能升高产品的应用难度，特地是在试用阶段，在新用户遇到困难并立马解决，是能进步成单率的。
增效
设想一下你须要客服，来解决售后问题，客服在客户和技术人员之间沟通解决问题，并把这些问题记录下来，缓缓得你积攒了很多问题集——F&Q。缓缓地，客服反馈有些问题看看产品阐明就能解决，但客户就是要打电话征询。
这个时候，你把这些售后问题投喂到 Q 的 dataset，Q 就立马成为一名经验丰富的客户，可能帮客户解决一些常见问题了，解决不了的再接入到人工客服了。
SageMaker
SageMaker 提供专为数据科学家和开发人员高效地筹备、构建、训练和部署高质量 ML 模型而构建的机器学习 (ML) 性能。
当团队内的数据专家，想进一步对数据做剖析时，无需把数据下载到本地，亚马逊提供了在线 Jupyter 平台，通过它你能够在任何终端拜访 Notebook 进行数据分析工作，所有运算都在云端，数据通过 S3 拜访，让你无需放心本地磁盘，以及算力。
创立 Notebook
拜访 SageMaker，翻到 Notebook, 点击 Create notbook instance
这里填了的不必改，只须要填一下名字就行了。
关上 Jupyter
创立好 notebook 实例后，点击 Open Jupyter 就能到一个你相熟的界面了
是的，这就是 亚马逊云提供服务的 Jupyter。你看到的 Running 状态，就是我没有敞开那个实例，所以，你不必了的话记得手动敞开运行时，它不会本人关，程序会始终为你保留工作状态，随时连接工作。哎，这样就不必写额定代码去保留中间状态了。（PS：说的就是你 Colab）
拜访 S3 数据
那么如何拜访 S3 数据呢
通过如上代码，阐明 SageMaker 是和 S3 买通了的。只须要配置好数据权限，数据分析人员就能本人拿数据进行剖析工作了。
SageMaker Studio
对了, 亚马逊还推出了 SageMaker Studio 一个收费的机器学习（ML）开发环境。独立于亚马逊的账号体系，目前是须要申请的，我的申请一天就过了，还是挺快的。（想白嫖的早点申请，😄）
用过 Colab，Kaggle 的同学，能够试试这个平台。每天收费 4 个小时的 GPU 算力，如果你只用 CPU 的话，那么会有 8 个小时运行时可供你用。
这个收费算力发放策略和 Colab 比拟像啊，拜访不了 Google 的同学能够试试这个。
启动运行时之前，会让你填手机号，我填的国内的 +86 手机号，是能够畅通应用的。
访问速度
目前，我拜访 Studio 没有网络阻碍，大家释怀冲。
生态
这场 AI 热潮，亚马逊云不仅仅是提供了大模型给大家应用，还围绕达模型的训练、调优、运行提供了一整套服务。
平安
作为云服务商，亚马逊非常重视用户的数据安全，并且公开承诺不会用客户的数据去改良他们的模型，至于他们怎么改良模型，预计是基于本人的业务。
还有生成的内容平安，因为 AI 生成模型，参数泛滥，可能你都不晓得训练进去的模型，可能学到了什么坏毛病，对于这一天，Bedrok 提供了跟踪，以及欠缺的日志性能，并切发现错误会帮你屏蔽内容输入，同时也会检查用户的输出，
例如：我在玩文生图时，有几个词汇过于涩涩就间接告警，不给我生成图片。
跑得快不肯定赢，不跌跟头才是胜利
在国内环境下，这些性能都是必须的，它曾经先一步帮咱们想到了。
最初
看过发布会，体验过 Q 之后，个人感觉间隔 AI 产品更近一步了。在以后隐衷泄露重大，滥用个人信息的环境下，生成式 AI 这个婴儿在一旁嗷嗷待哺（数据投喂），还有一个云服务商把客户的平安、隐衷放在第一位，是难能可能可贵的。
本文参加了「构」向云端 | 亚马逊云科技 x 思否 2023 re:Invent 构建者征文大赛，欢送正在浏览的你也退出。
受权申明：本篇文章受权流动官网亚马逊云科技文章转发、改写权，包含不限于在 Developer Centre，知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官网渠道
文章起源：https://dev.amazoncloud.cn/column/article/658991b05d096603bb1…
